KR102331104B1 - 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템 - Google Patents
팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템 Download PDFInfo
- Publication number
- KR102331104B1 KR102331104B1 KR1020190108409A KR20190108409A KR102331104B1 KR 102331104 B1 KR102331104 B1 KR 102331104B1 KR 1020190108409 A KR1020190108409 A KR 1020190108409A KR 20190108409 A KR20190108409 A KR 20190108409A KR 102331104 B1 KR102331104 B1 KR 102331104B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- neural network
- nuclear medicine
- phantom
- label
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 117
- 238000009206 nuclear medicine Methods 0.000 title claims abstract description 108
- 238000012549 training Methods 0.000 title description 2
- 238000003384 imaging method Methods 0.000 claims abstract description 69
- 230000006872 improvement Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 42
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000004321 preservation Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 6
- 238000012937 correction Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000003908 quality control method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/58—Testing, adjusting or calibrating thereof
- A61B6/582—Calibration
- A61B6/583—Calibration using calibration phantoms
-
- G06K9/3233—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Nuclear Medicine (AREA)
Abstract
본 발명은 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템에 관한 것으로서, 다양한 공간주파수 및 화소의 밝기를 포함하는 팬텀을 생성하는 팬텀부; 팬텀을 기반으로 핵의학영상 또는 구조 영상을 촬영하는 영상촬영부; 영상촬영부에서 촬영된 두 영상을 융합하여 학습에 필요한 블러링이 포함되지 않은 핵의학영상을 레이블 영상으로 생성하는 레이블 생성부; 및 핵의학영상의 사이노그램 데이터와 상기 레이블 영상을 각각 입력 데이터와 출력 레이블로 설정하고, 신경망 학습을 통해 입력 데이터에 포함된 블러링 및 노이즈를 제거하여 정답영상을 도출하는 학습부를 포함한다.
상기와 같은 본 발명에 따르면, 구조팬텀을 반복적으로 위치를 바꿔가며 측정함으로써, PSF 또는 LSF를 모든 공간에 대해서 일일이 측정하지 않고도 해상도 보정이 가능하고, 병원에서 수행하는 일일정도(daily quality control, DQC) 과정에 구조팬텀을 이용한 측정 추가가 가능함으로써, 시간에 따라 변화하는 시스템의 변화에 따라 지속적인 보정알고리즘 업데이트를 통해 현장에서 보다 유연하게 적용이 가능한 효과가 있다.
상기와 같은 본 발명에 따르면, 구조팬텀을 반복적으로 위치를 바꿔가며 측정함으로써, PSF 또는 LSF를 모든 공간에 대해서 일일이 측정하지 않고도 해상도 보정이 가능하고, 병원에서 수행하는 일일정도(daily quality control, DQC) 과정에 구조팬텀을 이용한 측정 추가가 가능함으로써, 시간에 따라 변화하는 시스템의 변화에 따라 지속적인 보정알고리즘 업데이트를 통해 현장에서 보다 유연하게 적용이 가능한 효과가 있다.
Description
본 발명은 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템에 관한 것으로, 더욱 상세하게는 다양한 구조의 형태를 가진 팬텀을 핵의학영상시스템으로 촬영하여 획득한 저해상도 사이노그램(sinogram)을 입력 데이터로 설정하고, 팬텀의 고해상도 구조 영상을 기반으로 생성한 레이블 영상을 고해상도의 출력 레이블로 설정하여 신경망 학습을 수행함으로써, 모든 위치에서의 point spread function(PSF)을 별도로 측정하지 않고도 spatially variant PSF를 모델로 학습된 영상재구성 신경망을 통하여 핵의학영상의 품질 및 해상도를 개선하는 기술에 관한 것이다.
일반적으로 영상시스템에서의 해상도 및 화질저하는 도 1에 도시된 바와 같이 모델링 되고 있다.
도 1에 도시된 s(x,y)는 원 데이터이고, s’은 검출기를 통해서 영상의 해상도 및 화질이 저하된 센서부에서 측정된 데이터이며, p(x,y)는 영상의 해상도를 저하시키는 요소이고, 일반적으로 point spread function(PSF) 또는 line spread function(LSF)이라고 부르며, 시스템의 특성에 따라 spatially invariant 모델일 수도 있고, spatially variant 모델이 될 수도 있다. 일반적인 핵의학영상은 spatially variant 모델이며, 방사선과 검출기의 interaction 특성에 의해 발생되기 때문에 검출기의 물리적 특성, 방사선의 입사각과 검출기의 각도 등 기하학적 특성에 의해서 좌우되는 경우가 많다. 따라서, spatially variant 모델에서 영상의 해상도를 보정하기 위해서는 모든 위치에서의 PSF를 알아야 하는데, 점선원 등으로 일일이 측정하는 것은 거의 불가능하다.
n(x,y)는 검출기에서 광신호가 검출된 후 전기신호로 변환되는 과정에서 다양한 원인에 의해 발생되는 잡음이며, 일반적으로 획득된 신호에 잡음이 더해지는 형태로 나타난다. 이러한 잡음신호는 영상의 signal-to-noise ratio(SNR)를 저하시킴으로써 영상품질을 떨어뜨리게 되며, 특히 영상의 해상도 향상을 위한 번짐제거(deblurring) 과정에서 심각한 영상 왜곡을 발생시키는 원인이 된다.
여기서, 해상도와 영상의 품질을 동시에 향상시키기 위해서는 우선 영상에 대한 잡음의 특성을 파악하여 잡음제거를 수행하고, 그 다음에 영상의 PSF를 측정하거나 예측하여 번짐제거를 수행하는 것이 중요하다.
이때, 영상의 해상도를 높이기 위해서는 실제 시스템의 PSF를 알아내는 것이 가장 중요한데, spatially variant 모델에서는 일반적으로 측정하기가 어렵다. 따라서, 다양한 구조의 형태를 가진 팬텀의 핵의학영상과 구조 영상을 획득함으로써 시스템 특성에 의해 번짐(blurring)이 발생한 핵의학영상의 사이노그램 데이터를 입력 데이터로 사용한다. 동시에 핵의학영상의 밝기 정보와 번짐 현상이 없는 구조 영상의 경계 또는 에지 정보를 결합함으로써, 번짐이 발생하기 이전의 팬텀의 핵의학영상을 레이블로 얻을 수 있다.
이렇게 얻어진 데이터를 각각 입력과 출력으로 해서 신경망을 학습시키면 시스템의 모든 공간 내의 PSF를 직접 측정하지 않아도, spatially variant 모델이 반영된 번짐제거 영상재구성 신경망을 구성할 수 있다는 것이 본 발명의 중심 아이디어이다.
근래에 전반적인 영상재구성 알고리즘에 신경망을 도입하는 연구가 이루어지고 있으나, 핵의학영상 시스템과 같이 spatially variant 모델에 대한 영상시스템의 공간해상도를 보정하는 신경망을 이용한 연구는 현재까지 제안된 바가 없다.
본 발명의 목적은, 다양한 구조의 형태를 가진 팬텀의 핵의학영상의 번짐이 발생한 사이노그램 데이터를 입력 데이터로 설정하고, 번짐이 발생하기 이전 영상으로부터 생성한 레이블을 출력 레이블로 설정하여 신경망 학습을 수행함으로써, 공간에 대한 모든 PSF를 별도로 측정하지 않고도 spatially variant LSF 또는 PSF를 제거할 수 있는 공간해상도와 화질 개선을 위한 영상재구성 신경망을 구성하여 핵의학영상의 임상적 유용성과 효용성을 획기적으로 개선하는데 있다.
이러한 기술적 과제를 달성하기 위한 본 발명의 일 실시예는 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템으로서, 다양한 공간주파수 및 화소의 밝기를 포함하는 팬텀을 생성하는 팬텀부; 팬텀을 기반으로 핵의학영상 또는 구조 영상을 촬영하는 영상촬영부; 영상촬영부에서 촬영된 두 영상을 융합하여 학습에 필요한 블러링이 포함되지 않은 핵의학영상을 레이블 영상으로 생성하는 레이블 생성부; 및 핵의학영상의 사이노그램 데이터와 레이블 영상을 각각 입력 데이터와 출력 레이블로 설정하고, 신경망 학습을 통해 입력 데이터에 포함된 블러링 및 노이즈를 제거하여 정답영상을 도출하는 학습부를 포함하는 것을 특징으로 한다.
바람직하게는 영상촬영부는, PET 또는 SPECT 중에 어느 하나의 핵의학영상을 촬영하고, CT 또는 MRI 중에 어느 하나의 구조 영상을 촬영하며, PET/CT, PET/MRI, SPECT/CT 또는 SPECT/MRI 중에 어느 하나의 핵의학영상 및 구조 영상을 융합하여 촬영하는 것을 특징으로 한다.
레이블 생성부는, 영상촬영부에서 획득한 구조 영상으로부터 경계검출 등의 영상처리기술을 통해 관심영역을 추출하고, 관심영역을 획득한 핵의학영상에 적용하여 관심영역 내에서의 평균 화소 밝기를 추출하며, 추출한 화소 밝기를 관심영역 내에 채워서 레이블 영상을 생성하는 것을 특징으로 한다.
레이블 생성부는, 영상촬영부에서 획득한 핵의학영상과 구조 영상을 접합하여 신경망의 입력 데이터로 적용하고, 입력 데이터에 각각에 대한 신경망의 출력 영상을 저장하되, 신경망의 출력영상 또는 입력영상 중에 어느 하나의 핵의학영상과 화소 밝기를 비교하여 신경망의 손실함수로 설정하거나, 신경망의 출력영상 또는 입력영상 중에 어느 하나의 구조 영상과 에지보존 정도를 비교하여 신경망의 손실함수로 설정하며, 손실함수를 기 설정된 비율로 조정 및 합하여 계산된 전체 손실함수를 적용한 이후 신경망을 학습에 의한 출력영상을 레이블 영상으로 생성하는 것을 특징으로 한다.
학습부는, 핵의학영상시스템으로부터 획득한 팬텀의 사이노그램 데이터를 도메인변환신경망을 통하여 핵의학영상으로 변환하되, 도메인변환신경망의 앞 또는 뒤 또는 양쪽에 하나 이상의 공간해상도와 화질 개선을 위한 신경망을 결합하고, 신경망의 출력영상을 레이블 영상과 비교하여 계산된 손실함수에 따라 학습을 수행하는 것을 특징으로 한다.
학습부는, 순차적으로 끝단과 끝단이 연결된 형태의 신경망과, 신경망 사이의 연결단 마다 추가적인 보조 손실을 삽입하여 학습을 수행하는 것을 특징으로 한다.
보조 손실은, 도메인변환신경망 전단에 핵의학영상의 사이노그램 데이터와 레이블 영상의 사이노그램 데이터와의 차이 또는 핵의학영상의 사이노그램 데이터와 레이블 영상의 사이노그램을 고대역 필터링한 데이터와의 차이를 나타내는 함수로 적용되고, 도메인변환신경망 후단에 핵의학영상과 레이블 영상과의 차이를 나타내는 함수로 적용되는 것을 특징으로 한다.
학습부는, 도메인변환신경망 전단에 화질 개선을 위해 잡음제거가 가능한 U-Net, 및 공간해상도 개선을 위해 번짐제거가 가능한 ResU-Net을 순차적으로 배치하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 다양한 구조의 형태를 가진 팬텀의 핵의학영상의 사이노그램 데이터를 입력 데이터로 설정하고, 번짐이 발생하기 이전 영상으로부터 생성한 레이블을 출력 레이블로 설정하여 신경망 학습을 수행함으로써, 공간에 대한 모든 PSF를 별도로 측정하지 않고도 spatially variant LSF 또는 PSF를 제거할 수 있는 영상재구성 신경망을 구성하여 핵의학영상의 공간해상도와 신호대잡음비(SNR)을 동시에 향상시키고, 핵의학영상의 임상적 유용성 및 진단 정확성을 획기적으로 개선하는 효과가 있다.
이러한 본 발명은 새롭게 제작한 구조팬텀을 반복적으로 위치를 바꿔가며 측정함으로써, PSF 또는 LSF를 모든 공간에 대해서 일일이 측정하지 않고도 해상도 보정이 가능한 효과가 있다.
또한, 본 발명은 병원에서 수행하는 일일정도(daily quality control, DQC) 과정에 구조팬텀을 이용한 측정 추가가 가능함으로써, 시간에 따라 변화하는 시스템의 변화에 따라 지속적인 보정알고리즘 업데이트를 통해 현장에서 보다 유연하게 적용이 가능한 효과가 있다.
특히, 본 발명은 핵의학영상이 생화학적으로는 가장 우수한 영상이지만, 해상도가 기존의 MRI 또는 CT와 같은 구조 영상과 비교하여 상대적으로 수십 배 이상의 차이가 나기 때문에, 그동안 PET/CT, PET/MRI, SPECT/CT, SPECT/MRI와 같은 다양한 조합의 융합영상시스템의 개발에 있어서의 기술적 병목(bottleneck)을 해결함으로써 융합영상시스템의 임상적 유용성과 진단의 정확성을 개선하여 의료영상 산업 발달에 핵심적인 역할을 할 것으로 기대한다.
도 1은 종래 영상시스템에서의 해상도 및 화질저하 모델링을 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템을 도시한 구성도.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 영상촬영부의 구성을 도시한 도면.
도 4a 내지 도 4b는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 레이블 생성부를 통한 레이블 영상 생성 절차를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 학습부에 의한 신경망 층의 구성과 손실 및 보조 손실의 구성을 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 학습부에 의한 신경망 층의 구성과 손실 및 보조 손실의 구성을 도시한 예시도.
도 7은 종래 영상재구성 기법에 의해 재구성한 영상과 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템에 의해 도출한 영상을 비교한 도면.
도 8은 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 절차를 도시한 순서도.
도 9a는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 S804 단계의 세부절차(영상촬영부가 PET 또는 SPECT와 같이 단독 핵의학영상시스템으로만 구성된 시스템인 경우)를 도시한 순서도.
도 9b는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 S804 단계의 세부절차(영상촬영부가 PET 또는 SPECT와 같은 핵의학영상시스템과 MRI 또는 CT와 같은 구조영상시스템으로 서로 독립적으로 구성된 시스템의 경우)를 도시한 순서도.
도 9c는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 S804 단계의 세부절차(영상촬영부가 PET/CT 또는 PET/MRI 또는 SPECT/CT 또는 SPECT/MRI와 같은 융합영상시스템으로 구성된 시스템의 경우)를 도시한 순서도.
도 2는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템을 도시한 구성도.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 영상촬영부의 구성을 도시한 도면.
도 4a 내지 도 4b는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 레이블 생성부를 통한 레이블 영상 생성 절차를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 학습부에 의한 신경망 층의 구성과 손실 및 보조 손실의 구성을 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 학습부에 의한 신경망 층의 구성과 손실 및 보조 손실의 구성을 도시한 예시도.
도 7은 종래 영상재구성 기법에 의해 재구성한 영상과 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템에 의해 도출한 영상을 비교한 도면.
도 8은 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 절차를 도시한 순서도.
도 9a는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 S804 단계의 세부절차(영상촬영부가 PET 또는 SPECT와 같이 단독 핵의학영상시스템으로만 구성된 시스템인 경우)를 도시한 순서도.
도 9b는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 S804 단계의 세부절차(영상촬영부가 PET 또는 SPECT와 같은 핵의학영상시스템과 MRI 또는 CT와 같은 구조영상시스템으로 서로 독립적으로 구성된 시스템의 경우)를 도시한 순서도.
도 9c는 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 S804 단계의 세부절차(영상촬영부가 PET/CT 또는 PET/MRI 또는 SPECT/CT 또는 SPECT/MRI와 같은 융합영상시스템으로 구성된 시스템의 경우)를 도시한 순서도.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 2를 참조하면 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템(100)은, FOV(Field of View) 내에서 다양한 공간주파수 및 화소의 밝기를 포함하는 팬텀을 생성하는 팬텀부(102)와, 팬텀을 기반으로 핵의학영상 및 구조 영상을 촬영하는 영상촬영부(104)와, 영상촬영부(104)에서 촬영된 두 영상을 융합하여 학습에 필요한 블러링이 포함되지 않은 핵의학영상을 레이블 영상으로 생성하는 레이블 생성부(106), 및 핵의학영상의 사이노그램 데이터와 레이블 생성부(106)의 레이블 영상을 각각 입력 데이터와 출력 레이블로 설정하고, 신경망 학습을 통해 입력 데이터에 포함된 블러링 및 잡음을 제거하여 정답영상(ground truth)을 도출하는 학습부(108)를 포함하여 구성된다.
이때, 레이블 영상은 구조 영상의 경계 및 에지를 기반으로 핵의학영상의 화소 밝기 정보를 합성하여 생성된다. 또한, 신경망은 계산된 전체 손실함수(total loss function)에 따라 학습이 이루어지며, 전체 손실함수는 손실함수(loss function) 및 보조 손실(auxiliary loss)을 포함하고, 자세한 설명은 하기 도 5를 참조하여 설명하기로 한다.
구체적으로, 도 3a 내지 도 3c를 참조하여 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템(100)의 영상촬영부(104)의 구성에 따른 영상획득 과정에 대해 살피면 아래와 같다.
1) 핵의학영상시스템과 디지털 팬텀으로 구성된 영상촬영부에서의 영상획득(영상촬영부(104)가 PET 또는 SPECT와 같이 단독 핵의학영상시스템으로만 구성된 시스템인 경우)(도 3a)
먼저, 팬텀부(102)가 팬텀 설계과정에서 설계도면을 기준으로 디지털 팬텀 영상을 생성하여 구조 영상으로 제공한다.
이어서, 영상촬영부(104)가 제작된 팬텀을 이용하여 핵의학영상시스템을 통해 팬텀의 핵의학영상을 생성한다.
그리고, 영상촬영부(104)가 생성된 팬텀의 핵의학영상과 디지털팬텀 영상을 영상정합을 통해 상호 일치시킨다. 이때, 일반적으로는 핵의학영상을 기준으로 디지털팬텀 영상을 이동시켜 일치시킨다.
마지막으로, 영상촬영부(104)가 정합된 두 영상을 레이블 생성부(106)의 입력 데이터로 전송한다.
2) 핵의학영상시스템과 구조영상시스템의 각 독립시스템으로 구성된 영상촬영부에서의 영상획득(영상촬영부(104)가 PET 또는 SPECT와 같은 핵의학영상시스템과 MRI 또는 CT와 같은 구조영상시스템으로 서로 독립적으로 구성된 시스템의 경우)(도 3b)
먼저, 영상촬영부(104)가 제작된 팬텀을 이용하여 핵의학영상시스템과 구조영상시스템을 통해 팬텀의 핵의학영상과 구조 영상을 각각 생성한다.
이어서, 영상촬영부(104)가 생성된 팬텀의 핵의학영상과 구조 영상을 영상정합을 통해 상호 일치시킨다. 이때, 일반적으로는 핵의학영상을 기준으로 구조 영상을 이동시켜 일치시킨다.
마지막으로, 영상촬영부(104)가 정합된 두 영상을 레이블 생성부(106)의 입력 데이터로 전송한다.
3) 핵의학영상시스템과 구조영상시스템이 결합된 융합영상시스템으로 구성된 영상촬영부에서의 영상획득(영상촬영부(104)가 PET/CT 또는 PET/MRI 또는 SPECT/CT 또는 SPECT/MRI와 같은 융합영상시스템으로 구성된 시스템의 경우)(도 3c)
먼저, 영상촬영부(104)가 제작된 팬텀을 이용하여 융합영상시스템을 통해 팬텀의 핵의학영상과 구조 영상을 동시에 생성한다.
그리고, 영상촬영부(104)가 생성된 두 영상을 레이블 생성부(106)의 입력 데이터로 전송한다.
이하, 도 4a 내지 도 4b를 참조하여 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템(100)의 영상 레이블 생성부(106)가 레이블 영상을 생성하는 과정에 대해 살피면 아래와 같다.
1) 영상처리기술을 이용한 레이블 영상 생성(도 4a)
먼저, 레이블 생성부(106)가 영상촬영부(104)에서 획득한 구조 영상으로부터 경계검출 등의 영상처리기술을 통해 ROI(관심영역)를 추출한다.
이어서, 레이블 생성부(106)가 추출한 관심영역을 획득한 핵의학영상에 적용하여 관심영역 내에서의 평균 화소 밝기를 추출한다.
그리고, 레이블 생성부(106)가 추출한 화소 밝기를 관심영역 내에 채움으로써 레이블 영상을 생성한다.
2) 신경망 학습을 이용한 레이블 영상 생성(도 4b)
먼저, 레이블 생성부(106)가 영상촬영부(104)에서 획득한 핵의학영상과 구조 영상을 접합(concatenation)하여 신경망의 입력 데이터로 적용한다.
이어서, 레이블 생성부(106)가 각 입력 데이터에 대한 신경망의 출력영상을 저장한다.
그리고, 레이블 생성부(106)가 신경망의 출력영상을 두 가지 입력영상 중 핵의학영상과의 화소 밝기를 비교하여 신경망의 손실함수로 제공한다. 또한, 레이블 생성부(106)가 신경망의 출력영상을 두 가지 입력영상 중 구조 영상과의 에지보존 정도를 비교하여 신경망의 손실함수로 제공한다. 이때, 두 손실함수는 적절한 비율로 조정(scaling)하여 합하여 전체 손실함수를 계산하여 신경망을 학습한다.
마지막으로, 레이블 생성부(106)가 학습을 완료한 신경망의 출력영상을 레이블 영상으로 생성한다.
이하, 도 5를 참조하여 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템(100)의 신경망의 구조에 대해 살피면 아래와 같다.
학습부(108)는 핵의학영상시스템으로부터 획득한 팬텀의 사이노그램 데이터를 도메인변환신경망(DomainTransformNet)을 통하여 핵의학영상으로 변환한다. 이때, 도메인변환신경망은 센서 도메인 데이터를 영상 도메인 데이터로 변환시켜 주는 목적으로 사용되며, 다양한 형태의 신경망으로 구성될 수 있다. 또한, 도메인변환신경망 앞 또는 뒤 또는 양쪽에 공간해상도와 화질 개선을 위한 신경망을 하나 이상 결합하여 사용할 수 있다.
또한, 본 발명의 일 실시예에 따른 신경망은 마지막 출력영상을 레이블 영상과 비교하여 계산된 손실함수(loss function)에 따라 학습을 수행하게 된다. 이때, 신경망의 중간 단마다 추가적인 보조 손실(auxiliary loss)을 적용하면 각 층(layer)별 기능을 명확하게 하고 통합적인 학습능력을 향상시킬 수 있고, 어느 위치에 보조 손실을 적용하는가에 따라 각각 다른 레이블을 사용하며, 신경망의 형태에 따라 보조 손실 또한 여러 가지 형태로 조합될 수 있다.
구체적으로 도 5를 참조하면, 신경망은 순차적으로 끝단과 끝단이 연결된(end-to-end) 형태의 신경망과, 신경망 사이의 연결단 중에 어느 하나의 보조 손실이 삽입될 수 있다. 여기에서 도메인변환신경망을 기준으로 앞쪽에 위치한 보조 손실은 핵의학영상의 사이노그램을 정답 영상으로 사용하여 비교하게 되며, 도메인변환신경망을 기준으로 뒤쪽에 위치한 보조 손실은 레이블 생성부(106)에서 제공된 레이블 영상을 정답 영상으로 사용하여 비교하게 된다.
이때, 도메인변환신경망의 직전에 위치한 보조 손실(여기서는 i번째 보조 손실함수)은 핵의학영상 사이노그램을 필터링한 사이노그램(filtered sinogram)을 사용할 수 있는데, 여기서 사용되는 필터는 이상적으로는 램프필터(ramp filter) 또는 유사한 하이패스필터(high-pass filter)를 사용할 수 있다. 즉, 도메인변환신경망의 전단에는 핵의학영상의 사이노그램 데이터와 레이블 영상의 사이노그램 데이터와의 차이 또는 핵의학영상의 사이노그램 데이터와 레이블 영상의 사이노그램을 고대역 필터링한 데이터와의 차이를 나타내는 함수로 보조 손실이 적용되고, 그 후단에 핵의학영상과 레이블 영상과의 차이를 나타내는 함수로 보조 손실이 적용된다.
도 6은 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 학습부에 의한 신경망 층의 구성과 손실 및 보조 손실의 구성을 예시한 도면이다.
도 6에 도시된 바와 같이, 본 실시예에서는 전체 구조의 중앙에 도메인변환신경망(DomainTransformNet, 본 실시예에서는 센서 도메인의 사이노그램을 이미지 도메인의 재구성된 영상으로 변환하기 위한 신경망이며 완전연결신경망(Fully-connected Net)을 사용함)을 사용하였다. 도메인변환신경망 앞쪽에 화질 개선을 위해 잡음제거신경망(DenoiseNet, 본 실시예에서는 푸아송 잡음을 제거하기 위한 신경망이며 U-Net을 사용함)과 공간해상도 개선을 위해 번짐제거신경망(DeblurNet, 본 실시예에서는 spatially variant 번짐을 제거하기 위한 신경망이며 ResU-Net(Residual U-Net)을 사용함)을 순차적으로 사용하였으며, 도메인변환신경망 뒤쪽에는 한 번 더 잡음을 제거하기 위해 잡음제거신경망(본 실시예에서는 재구성된 영상에 남아있는 잡음을 최종적으로 제거하기 위한 신경망이며 합성곱 신경망(ConvNet)을 사용함)을 추가로 사용하였다.
여기에서, 손실함수는 최종단의 출력영상과 레이블 영상과의 MSE(mean squared error) 손실함수와 경사 손실함수(gradient loss)를 함께 사용하였다. 보조 손실함수는 도메인변환신경망과 그 뒷단의 잡음제거신경망 사이, 즉 완전연결신경망과 합성곱 신경망 사이의 출력영상과 레이블 영상과의 MSE 손실함수와 경사 손실함수를 함께 사용하였다. 전체손실함수는 손실함수와 보조 손실함수의 합계로 계산하였으며, 각각의 가중치는 1 : 0.75로 사용하였다. 이때, 가중치는 변경될 수 있다.
아울러, 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 신경망 학습기법은, 개별적으로 학습된 하위 신경망(DomainTransformNet, DenoiseNet, 또는 DeblurNet)을 전이학습(transfer learning)한 뒤 순차적으로 끝단과 끝단을 연결하여 세부 조정(fine-tuning)하는 방식으로 이뤄진다.
신경망의 학습 및 검증을 위해 MS COCO(Microsoft common objects in context) 2017 데이터셋의 이미지 162,833장을 다음과 같은 일련의 전처리 과정을 거쳐 사용하였다. 우선, 컬러 이미지를 회색조(grayscale) 이미지로 변환한 뒤 서브샘플링하여 64 ×64 픽셀의 크기로 조정하였다. 이미지에 원형 마스크를 적용하여 FOV 외부를 지운 뒤 라돈 변환을 수행하여 angular views 개수가 128, radial bins 개수가 64인 사이노그램을 생성하였다. Spatially variant 번짐 p(x, y)을 적용하고 푸아송 샘플링을 통해 잡음 n(x, y)을 더하여 핵의학영상시스템의 화질저하가 적용된 입력 데이터로 사용하였다. 모든 데이터셋은 각 이미지의 평균을 뺀 뒤, 전체 데이터셋의 최댓값으로 나누는 정규화(normalization)가 적용되었다.
그리고, 도 7은 종래의 영상재구성 기법(FBP: Filtered back projection)에 의해 재구성한 영상과 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템을 통해 도출한 영상을 비교한 도면이다.
또한, 아래의 [표 1]은 다양한 모델 구조 및 손실함수 조합에 의한 실시예의 결과를 나타낸 표이다.
따라서, 도 7 및 [표 1]에서 알 수 있듯이 기존 영상재구성 방법(FBP)에 의한 결과값 대비, 본 발명의 일 실시예에 따른 모델 구조(DeblurNet, AutoMap, DeblurNet + AutoMap) 각각에서 영상의 RMSE(root mean square error)와 SSIM(structural similarity)이 모두 향상된 것을 확인할 수 있으며, 특히, 가장 좋은 결과를 나타낸 회색 음영 부분과, 기존 영상재구성 방법(FBP)을 그대로 적용한 결과를 비교하여 살피면, RMSE 및 SSIM의 차이가 보다 극명하게 나타나는 것을 알 수 있다.
그리고, 상기 [표 1]에서 DeblurNet(only) 모델의 Loss 1은 손실함수(Loss 2와 3은 없음)이고, AUTOMAP(only) 모델의 Loss 2는 보조 손실함수, Loss 3은 손실함수이며(Loss1은 없음), DeblurNet + AUTOMAP 모델의 Loss 1과 Loss 2는 보조 손실함수, Loss 3은 손실함수이다. 또한, SD(standard deviation)는 RMSE의 표준 편차이고, Brain은 전술한 MS COCO의 데이터셋이 아닌, 실제 뇌영상 테스트 데이터셋(도 7의 영상 : 1장) 이다.
이하, 도 8을 참조하여 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 절차에 대해 살피면 아래와 같다.
먼저, 팬텀부가 FOV 내에서 다양한 공간주파수 및 화소의 밝기를 포함하는 팬텀을 생성한다(S802).
이어서, 영상촬영부가 팬텀을 기반으로 핵의학영상 및 구조 영상을 촬영한다(S804).
뒤이어, 레이블 생성부가 영상촬영부에서 촬영된 두 영상을 융합하여 학습에 필요한 블러링이 포함되지 않은 핵의학영상을 생성한다(S806).
이어서, 학습부가 핵의학영상의 사이노그램 데이터와 레이블 생성부의 레이블 영상을 각각 입력과 출력 레이블로 설정한다(S808).
그리고, 학습부가 신경망 학습을 통해 입력 데이터에 포함된 블러링 및 노이즈를 제거하여 정답영상을 도출한다(S810).
이하, 도 9a 내지 도 9c를 참조하여 본 발명의 일 실시예에 따른 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템의 S804 단계의 세부절차에 대해 살피면 아래와 같다.
도 9a에 도시된 바와 같이 제S802단계 이후, 영상촬영부가 단독 핵의학영상시스템으로만 구성된 경우, 기 제작된 팬텀을 이용하여 핵의학영상시스템을 통해 팬텀의 핵의학영상을 생성한다(S902).
이어서, 영상촬영부가 생성된 팬텀의 핵의학영상과 디지털팬텀 영상을 영상정합을 통해 상호 일치시킨다(S904).
뒤이어, 영상촬영부가 정합된 두 영상을 레이블 생성부의 입력 데이터로 전송한다(S906).
또한, 도 9b에 도시된 바와 같이 제S802단계 이후, 영상촬영부가 핵의학영상시스템과 구조영상시스템으로 서로 독립적으로 구성된 시스템인 경우, 기 제작된 팬텀을 이용하여 핵의학영상시스템 및 구조영상시스템을 통해 팬텀의 핵의학영상과 구조 영상을 각각 생성한다(S908).
이어서, 영상촬영부가 생성된 팬텀의 핵의학영상과 구조 영상을 영상정합을 통해 상호 일치시킨다(S910).
그리고, 영상촬영부가 정합된 두 영상을 레이블 생성부(106)의 입력 데이터로 전송한다(S912).
또한, 도 9c에 도시된 바와 같이 제S802단계 이후, 영상촬영부가 핵의학영상시스템과 구조영상시스템이 결합된 융합영상시스템인 경우, 기 제작된 팬텀을 이용하여 융합영상시스템을 통해 팬텀의 핵의학영상과 구조 영상을 동시에 생성한다(S914).
그리고, 영상촬영부가 생성된 두 영상을 레이블 생성부의 입력 데이터로 전송한다(S916).
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템
102: 팬텀부
104: 영상촬영부
106: 레이블 생성부
108: 학습부
102: 팬텀부
104: 영상촬영부
106: 레이블 생성부
108: 학습부
Claims (8)
- 다양한 공간주파수 및 화소의 밝기를 포함하는 팬텀을 생성하는 팬텀부;
상기 팬텀을 기반으로 핵의학영상 또는 구조 영상을 촬영하는 영상촬영부;
상기 영상촬영부에서 촬영된 두 영상을 융합하여 학습에 필요한 블러링이 포함되지 않은 핵의학영상을 레이블 영상으로 생성하는 레이블 생성부; 및
상기 핵의학영상의 사이노그램 데이터와 상기 레이블 영상을 각각 입력 데이터와 출력 레이블로 설정하고, 신경망 학습을 통해 입력 데이터에 포함된 블러링 및 노이즈를 제거하여 정답영상을 도출하는 학습부를 포함하되,
상기 영상촬영부는,
PET 또는 SPECT 중에 어느 하나의 핵의학영상을 촬영하고,
CT 또는 MRI 중에 어느 하나의 구조 영상을 촬영하며,
PET/CT, PET/MRI, SPECT/CT 또는 SPECT/MRI 중에 어느 하나의 핵의학영상 및 구조 영상을 융합하여 촬영하는 것을 특징으로 하는 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템. - 삭제
- 제1항에 있어서,
상기 레이블 생성부는,
상기 영상촬영부에서 획득한 구조 영상으로부터 경계검출 등의 영상처리기술을 통해 관심영역을 추출하고, 관심영역을 획득한 핵의학영상에 적용하여 관심영역 내에서의 평균 화소 밝기를 추출하며, 추출한 화소 밝기를 관심영역 내에 채워서 레이블 영상을 생성하는 것을 특징으로 하는
팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템. - 제1항에 있어서,
상기 레이블 생성부는,
상기 영상촬영부에서 획득한 핵의학영상과 구조 영상을 접합하여 신경망의 입력 데이터로 적용하고, 입력 데이터에 각각에 대한 신경망의 출력 영상을 저장하되,
상기 신경망의 출력영상 또는 입력영상 중에 어느 하나의 핵의학영상과 화소 밝기를 비교하여 신경망의 손실함수로 설정하거나, 상기 신경망의 출력영상 또는 입력영상 중에 어느 하나의 구조 영상과 에지보존 정도를 비교하여 신경망의 손실함수로 설정하며,
상기 손실함수를 기 설정된 비율로 조정 및 합하여 계산된 전체 손실함수를 적용한 이후 신경망을 학습에 의한 출력영상을 레이블 영상으로 생성하는 것을 특징으로 하는
팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템. - 제1항에 있어서,
상기 학습부는,
핵의학영상시스템으로부터 획득한 팬텀의 사이노그램 데이터를 도메인변환신경망을 통하여 핵의학영상으로 변환하되,
상기 도메인변환신경망의 앞 또는 뒤 또는 양쪽에 하나 이상의 공간해상도와 화질 개선을 위한 신경망을 결합하고,
상기 신경망의 출력영상을 레이블 영상과 비교하여 계산된 손실함수에 따라 학습을 수행하되,
순차적으로 끝단과 끝단이 연결된 형태의 신경망과, 신경망 사이의 연결단 마다 추가적인 보조 손실을 삽입하여 학습을 수행하는 것을 특징으로 하는
팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템. - 삭제
- 제5항에 있어서,
상기 보조 손실은,
상기 도메인변환신경망 전단에 핵의학영상의 사이노그램 데이터와 레이블 영상의 사이노그램 데이터와의 차이 또는 핵의학영상의 사이노그램 데이터와 레이블 영상의 사이노그램을 고대역 필터링한 데이터와의 차이를 나타내는 함수로 적용되고,
상기 도메인변환신경망 후단에 핵의학영상과 레이블 영상과의 차이를 나타내는 함수로 적용되는 것을 특징으로 하는
팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템. - 제5항에 있어서,
상기 학습부는,
상기 도메인변환신경망 전단에 화질 개선을 위해 잡음제거가 가능한 U-Net, 및 공간해상도 개선을 위해 번짐제거가 가능한 ResU-Net을 순차적으로 배치하는 것을 특징으로 하는
팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190108409A KR102331104B1 (ko) | 2019-09-02 | 2019-09-02 | 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190108409A KR102331104B1 (ko) | 2019-09-02 | 2019-09-02 | 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210026934A KR20210026934A (ko) | 2021-03-10 |
| KR102331104B1 true KR102331104B1 (ko) | 2021-11-24 |
Family
ID=75148892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190108409A KR102331104B1 (ko) | 2019-09-02 | 2019-09-02 | 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102331104B1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230053810A (ko) * | 2021-10-15 | 2023-04-24 | 가천대학교 산학협력단 | 투영기반의 의료영상 재구성 시스템 |
| KR102654735B1 (ko) * | 2022-06-29 | 2024-04-05 | 재단법인대구경북과학기술원 | 포톤카운팅 ct에서의 나노입자 조영제 영역 검출 장치 및 그 방법 |
| CN116071271B (zh) * | 2023-03-07 | 2023-06-02 | 深圳市熠华智能科技有限公司 | 一种用于平板电脑的图像捕获的分析方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017223560A1 (en) | 2016-06-24 | 2017-12-28 | Rensselaer Polytechnic Institute | Tomographic image reconstruction via machine learning |
| US20190266728A1 (en) | 2018-02-23 | 2019-08-29 | Seoul National University R&Db Foundation | Positron emission tomography system and image reconstruction method using the same |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101531755B1 (ko) | 2013-05-10 | 2015-06-25 | 한국과학기술원 | 패치 기반 최소 랭크 정규화를 이용한 영상 재구성 방법 및 장치 |
| KR102538329B1 (ko) * | 2016-07-15 | 2023-05-31 | 연세대학교 산학협력단 | 회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법 |
-
2019
- 2019-09-02 KR KR1020190108409A patent/KR102331104B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017223560A1 (en) | 2016-06-24 | 2017-12-28 | Rensselaer Polytechnic Institute | Tomographic image reconstruction via machine learning |
| US20190266728A1 (en) | 2018-02-23 | 2019-08-29 | Seoul National University R&Db Foundation | Positron emission tomography system and image reconstruction method using the same |
Non-Patent Citations (1)
| Title |
|---|
| Ida Häggströma 외 3명. DeepPET: A deep encoder-decoder network for directly solving the PET image reconstruction inverse problem. Med Image Anal. 2019 May; 54:253-262.(2019.3.30.온라인 공개)* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210026934A (ko) | 2021-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10915990B2 (en) | Systems and methods for denoising medical images with deep learning network | |
| US10467751B2 (en) | Quality of medical images using multiple-contrast and deep learning | |
| Blum et al. | Multi-sensor image fusion and its applications | |
| KR102331104B1 (ko) | 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템 | |
| CN107025632B (zh) | 一种图像超分辨率重建方法及系统 | |
| US11039805B2 (en) | Deep learning based estimation of data for use in tomographic reconstruction | |
| CN106469436B (zh) | 图像去噪系统及图像去噪方法 | |
| US20230196515A1 (en) | A method of denoising dental images through domain adaptation | |
| CN108288256A (zh) | 一种多光谱马赛克图像复原方法 | |
| Iwasokun et al. | Image enhancement methods: a review | |
| CN116958217B (zh) | 一种mri与ct多模态3d自动配准方法及装置 | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| CN116091312A (zh) | 一种低对比度图像联合增强和超分辨率重建方法 | |
| US20180047146A1 (en) | Apparatus and method for parameterizing a plant | |
| CN116612005A (zh) | 高光谱图像超分辨率重建方法、装置和电子设备 | |
| US12045958B2 (en) | Motion artifact correction using artificial neural networks | |
| CN115761134A (zh) | 孪生模型的生成方法、系统、核磁共振装置和介质 | |
| Song et al. | Unsupervised denoising for satellite imagery using wavelet subband cyclegan | |
| CN111382775A (zh) | 用于x射线图像处理的生成对抗网络及其方法 | |
| Dewey et al. | Medical image harmonization through synthesis | |
| Chan et al. | Superresolution enhancement for temporal hyperspectral-oriented data sets | |
| Pogodzinski et al. | Multi-Image Fusion for Super-Resolving Individual Sentinel-2 Images | |
| Azmi et al. | Detection and correction of image distortions induced by parasitic light sensitivity using deep learning methods | |
| SNEHA et al. | A MATRIX-BASED IMPLICIT PRIOR FOR JOINT DEMOSAICING AND SUPER-RESOLUTION | |
| Ye et al. | An Improved Single Image Super-Resolution Algorithm Based on Finite Rate of Innovation Theory |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |