KR20230053810A - 투영기반의 의료영상 재구성 시스템 - Google Patents

투영기반의 의료영상 재구성 시스템 Download PDF

Info

Publication number
KR20230053810A
KR20230053810A KR1020210137029A KR20210137029A KR20230053810A KR 20230053810 A KR20230053810 A KR 20230053810A KR 1020210137029 A KR1020210137029 A KR 1020210137029A KR 20210137029 A KR20210137029 A KR 20210137029A KR 20230053810 A KR20230053810 A KR 20230053810A
Authority
KR
South Korea
Prior art keywords
sinogram
image
image reconstruction
projection
input
Prior art date
Application number
KR1020210137029A
Other languages
English (en)
Inventor
손영돈
김태진
김행근
강창기
김종훈
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020210137029A priority Critical patent/KR20230053810A/ko
Priority to PCT/KR2022/015391 priority patent/WO2023063715A1/ko
Publication of KR20230053810A publication Critical patent/KR20230053810A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

본 기술은 투영기반의 의료영상 재구성 시스템이 개시된다. 이러한 본 기술에 대한 구체적인 구현 예는 획득된 영상에 대해 생성된 사이노그램을 전처리하여 영상 재구성 신경망의 입력 사이노그램을 출력하는 사이노그램 전처리부; 및 상기 영상 재구성 신경망은 상기 입력 사이노그램 데이터를 영상으로 재구성하도록 구비하되, 상기 입력 사이노그램에 대해 학습모델 구축부의 훈련을 통해 도출된 가중치로 필터링을 수행하여 필터링된 사이노그램을 출력하는 프리 필터링 모듈; 상기 필터링된 사이노그램을 상기 학습모델 구축부의 훈련을 통해 영상 도메인으로 변환하는 도메인 변환 모듈; 및 상기 변환된 영상에 대해 상기 학습모델 구축부의 훈련을 통해 도출된 가중치로 필터링을 수행하여 재구성 영상을 출력하는 포스트 필터링 모듈을 포함하여 학습 결과에 따른 손실함수의 값으로 연산의 가중치를 업데이트함에 따라 전처리된 입력 사이노그램에 대해 최적화된 필터링을 수행한 후 도메인 변환을 수행함에 따라 복잡한 모델링이나 파라미터 설정 없이 인공신경망 기반의 학습을 통해 영상 재구성의 성능 및 품질을 향상시킬 수 있다.

Description

투영기반의 의료영상 재구성 시스템{MEDICAL IMAGE RECONSTRUCTION SYSTEM BASED ON PROJECTION}
본 발명은 투영기반의 의료영상 재구성 장치에 관한 것으로서, 더욱 상세하게는 입력 사이노그램에 대해 데이터 기반의 고주파 필터링한 다음 필터링된 사이노그램에 대해 도메인 변환함에 따라 시스템의 성능과 재구성 영상의 품질을 향상시킬 수 있도록 한 기술에 관한 것이다.
CT(Computed Tomography), PET(Positron Emission Tomography), SPECT(Single Photon Emission Computed Tomography)와 같은 투영기반의 의료영상 시스템은 방사선에 기반한 프로젝션 데이터를 획득함으로써 촬영 대상에 대해 라돈 변환(Radon transform)한 형태의 사이노그램 데이터를 획득하게 된다. 이렇게 획득한 데이터를 의료영상으로 재구성하는 알고리즘은 크게 두 가지로 나뉜다.
첫번째 영상 재구성은 분석적 재구성(analytic reconstruction) 방법으로, FBP(filtered backprojection)이 대표적이다. FBP는 획득한 사이노그램 데이터를 각 angular view의 데이터를 1차원으로 ramp 필터와 같은 적절한 고대역통과 필터를 적용한 후 해당 각도에 맞춰 백프로젝션을 수행한다. 그리고 모든 각도에 대해 백프로젝션된 영상을 누적시켜 합산하여 영상을 재구성하게 된다. 그러나, 이러한 FBP를 이용하여 재구성된 영상은 데이터에 포함된 노이즈에 의해 쉽게 품질이 저하된다는 한계에 도달한다.
두번째 영상 재구성은 반복적 영상 재구성(iterative reconstruction) 방법으로, MLEM(maximum Likelihood Expectation Maximization), OSEM(Ordered Subsets Expectation Maximization) 등이 있다.
이러한 반복적 영상 재구성은 의료 영상을 추정하고, 이에 대해 포워딩 프로젝션을 수행하여 얻은 추정 사이노그램 데이터와 실제로 측정된 사이노그램 데이터를 비교하여 오차를 기반으로 산출된 보정값을 다시 추정된 의료영상에 백워드 프로젝션을 수행하여 업데이트하게 된다. 이러한 과정을 수렴 조건에 도달할 때까지 반복적 (iterative)으로 수행하여 얻어지는 추정 영상을 통해 의료영상을 재구성하는 방식이다.
이때 반복적 영상 재구성은 포워딩 프로젝션과 백워드 프로젝션 과정에 방사성 입자의 물리적 프로세스를 통계학적 모델링을 통해 적용 및 보정함으로써 영상의 품질을 향상시키기 용이하다는 장점이 있다.
결국, 물리적 프로세스가 반영된 반복적 재구성 방법은 전술한 FBP 보다 잡음이 적고 더 정확하게 영상을 재구성할 수 있으나, 반복 프로세스로 인해 처리 시간이 오래 소요되고, 추정 영상의 업데이트 및 반복 정지를 위한 수렴 조건 등의 설정이 복잡한 한계에 도달한다.
이에 본 출원인은 센서 도메인의 데이터 기반 입력 사이노그램 데이터(이하 사이노그램으로 약칭함)에 대해 학습을 통해 도출된 가중치로 고주파 필터링을 수행한 다음 도메인 변환을 수행하는 영상 재구성 방안을 제안하고자 한다.
따라서, 본 발명은 입력 사이노그램에 대해, 학습을 통해 도출된 가중치로 최적화된 고주파 필터를 적용하여 고주파 필터링을 수행한 다음 도메인 변환을 수행함에 따라 의료영상 재구성 시스템의 성능을 향상시킬 수 있고 재구성된 영상의 품질을 향상시킬 수 있는 투영기반의 의료영상 재구성 시스템을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 따른 투영기반의 의료영상 재구성 시스템은,
훈련하고자 하는 영상에 대해 생성된사이노그램을 전처리하여 영상 재구성 신경망의 입력 사이노그램을 출력하는 사이노그램 전처리부; 및
상기 영상 재구성 신경망은
상기 입력 사이노그램을 영상으로 재구성하되,
상기 입력 사이노그램에 대해 학습모델 구축부의 훈련을 통해 도출된 최적의 가중치로 연산을 수행하여 필터링된 사이노그램을 출력하는 프리 필터링 모듈;
상기 필터링된 사이노그램을 상기 학습모델 구축부의 훈련을 통해 영상 도메인으로 변환하는 도메인 변환 모듈; 및
상기 변환된 영상에 대해 상기 학습모델 구축부의 훈련을 통해 도출된 가중치로 연산을 수행하여 재구성 영상을 출력하는 포스트 필터링 모듈을 포함하는 것을 일 특징으로 한다.
바람직하게 상기 학습모델 구축부는,
훈련하고자 하는 FOV(Field Of View)의 영상에 대해 정규화된 정답 영상과 입력 사이노그램의 훈련 데이터 쌍을 학습 모델로 저장하고,
기 정의된 손실함수를 이용하여 상기 재구성 영상과 상기 정답 영상 간의 오차로 가중치를 연산하고,
연산된 가중치로 상기 포스트 필터링 모듈, 상기 도메인 변환 모듈, 및 상기 프리 필터링 모듈의 가중치를 순차적으로 업데이트하도록 구비될 수 있다.
바람직하게 상기 프리 필터링 모듈은
적어도 하나의 합성곱 레이어가 적층 구조로 구비되고, 상기 입력 사이노그램에 대해 순차적으로 합성곱 연산을 수행하도록 구비될 수 있다.
바람직하게 상기 도메인 변환 모듈은
적어도 하나의 완전 연결 레이어가 적층 구조로 구비되고, 상기 입력 사이노그램에 대해 순차적으로 연산을 수행하도록 구비될 수 있다.
바람직하게 상기 포스트 필터링모듈은
적어도 하나의 합성곱 레이어가 적층 구조로 구비되고, 상기 입력 사이노그램에 대해 순차적으로 합성곱 연산을 수행하도록 구비될 수 있다.
바람직하게 상기 사이노그램 전처리부는,
FOV(Field Of View) 영상에 대한 사이노그램의 앵글뷰를 복제하여 패딩을 수행하되,
상기 FOV를 벗어난 radial bins을 0으로 패딩하도록 구비될 수 있다.
바람직하게 상기 사이노그램 전처리부는,
FOV(Field Of View) 영상에 대한 사이노그램의 앵글뷰 중 정해진 패딩하고자 하는 영역의 크기만큼 FOV의 하단 사이노그램을 복제한 다음 좌우 반전 및 상하 반전하여 FOV의 상단에 패딩하고,
정해진 패딩하고자 하는 영역 크기만큼 FOV의 상단의 사이노그램을 복제한 다음 좌우 반전 및 상하 반전하여 FOV의 하단에 패딩하도록 구비될 수 있다.
일 실시 예에 따르면, 학습 결과에 따른 가중치로 영상 재구성 신경망의 합성곱 연산의 가중치를 업데이트함에 따라 입력 사이노그램에 대해 최적화된 고주파 필터링을 수행한 후 도메인 변환을 수행함에 따라 복잡한 모델링이나 파라미터 설정 없이 인공신경망 기반의 학습을 통해 영상 재구성의 성능 및 품질을 향상시킬 수 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 일 실시예가 적용되는 영상 재구성 시스템의 구성도이다.
도 2는 도 1의 사이노그램 생성부의 세부 구성도이다.
도 3은 도 1의 사이노그램의 FOV의 패딩된 사이노그램을 보인 예시도들이다.
도 4는 도 1의 생성된 사이노그램의 전처리된 영상을 보인 예시도이다.
도 5는 도 1의 영상 재구성 신경망의 세부 구성도이다.
도 6은 도 1의 프리 필터링 모듈의 주파수 특성을 시각화한 예시도이다.
도 7은 도 1의 입력 사이노그램 별 재구성 영상을 보인 예시도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 일 실시예가 적용되는 영상 재구성 시스템의 전체 구성도이고, 도 2는 도 1의 사이노그램 생성부의 구성을 보인 예시도이고, 도 3은 도 1의 사이노그램 전처리부에서 패딩된 사이노그램을 보인 예시도들이고, 도 4는 도 1의 사이노그램 전처리부에 의거 전처리된 사이노그램을 보인 예시도이며, 도 5는 도 1의 영상 재구성 신경망의 세부 구성도이며, 도 6은 도 1의 프리 필터링 모듈의 주파수 특성을 시각화한 예시도이고, 도 7은 도 1의 입력 사이노그램 별 재구성 영상을 보인 예시도이다.
도 1 내지 도 7을 참조하면, 일 실시예의 투영기반의 의료영상 재구성 시스템은, 학습을 통해 획득된 가중치로 합성곱 연산의 가중치를 업데이트함에 따라 입력 사이노그램에 대해 최적화된 고주파 필터링을 수행한 다음 필터링된 사이노그램에 대한 학습을 통해 영상 도메인으로 변환하여 재구성 영상을 획득하도록 구비되며, 이에 재구성 영상 시스템은, 사이노그램 생성부(100), 학습모델 구축부(200), 사이노그램 전처리부(300), 및 영상 재구성 신경망(400)을 포함할 수 있다.
여기서 사이노그램 생성부(100)은 도 2에 도시된 바와 같이, 훈련 과정에서는 다양한 입력 영상에 대해 전처리를 수행하고 훈련데이터 쌍에서 라돈 변환을 수행하여 사이노그램을 생성하는 과정을 적용할 수 있으며, 실제 의료 영상 시스템 적용시에는 의료영상 시스템의 검출기를 포함한 하드웨어를 통하여 사이노그램을 획득하는 과정을 적용할 수 있다. 본 명세서 상에서는 다양한 입력 영상에 대해 전처리 및 훈련 데이터를 생성하여 학습모델을 구축하는 과정에 대해 구체적으로 명시하지 않지만, 당업자의 수준에서 이해되어야 할 것이다.
예를 들어, 사이노그램 생성부(100)는 훈련하고자 하는 입력된 영상을 사이노그램으로 변환하며, 훈련을 위해 입력된 의료 영상을 사이노그램으로 변환하는 과정은 하기와 같다.
즉, 사이노그램 생성부(100)는 훈련을 위해 선택된 오픈데이터 셋에서 입력된 의료 영상을 회색조로 변경한 뒤 영상 중앙으로부터 256×256 픽셀크기로 잘라낸다. 이어서 목표하는 출력 영상의 크기에 맞추어 64×64 픽셀 크기로 서브샘플링(subsampling) 한 뒤, 61 픽셀의 지름을 갖는 원형 field of view(FOV)를 적용하여 FOV 외부 픽셀의 값을 0으로 변경한다.
사이노그램 생성부(100)는 원형 FOV(field of view) 영상에 대해 각각의 평균값을 뺀 후 정해진 전체 데이터의 최대값으로 나누어 정규화(normalization)하여 전처리하여 정답 영상을 생성하고, 생성된 정답 영상은 학습모델 구축부(200)로 전달된다.
한편, 사이노그램 생성부(100)는 정규화 이전 단계까지 원형 FOV(Field Of View) 처리된 영상에 대해 라돈 변환을 적용하여 사이노그램 S(r,θ)으로 변환되고 변환된 사이노그램 S(r,θ)는 사이노그램 전처리부(300)로 전달된다.
사이노그램 전처리부(300)는 변환된 사이노그램에 대해 패딩 및 정규화를 통해 영상 재구성 신경망(400)의 입력 사이노그램을 출력할 수 있다.
일 례로, 사이노그램 전처리부(300)는 도 3에 도시된 바와 같이, 합성곱 수행 시 변환된 사이노그램(도 3의 (a)에 도시됨)의 크기를 변화시키지 않기 위하여 변환된 사이노그램의 상하좌우에 합성곱의 커널 크기에 따라서 패딩(padding)을 수행한다. 이때 입력 사이노그램의 상하 부분의 패딩은 정해진 패딩 크기만큼 하단 사이노그램을 복제한 다음 좌우 반전 및 상하 반전하여 상단 사이노그램에 패딩하고, 마찬가지로 정해진 패딩 크기만큼 상단의 사이노그램을 복제한 다음 좌우 반전 후 상하 반전하여 하단 사이노그램에 패딩할 수 있다(도 3의 (b)에 도시됨).
또한 사이노그램 전처리부(200)는 주변 앵글뷰(angle views)를 복제하는 방식으로 패딩할 수 있고 입력 사이노그램의 좌우 패딩은 정해진 패딩 크기만큼 0으로 패딩된다(도 3의 (c)에 도시됨).
사이노그램 전처리부(300)는 도 4에 도시된 바와 같이 패딩된 사이노그램에 대해 정규화(normalization)를 통해 전처리하여 데이터 형태의 입력 사이노그램을 생성한다.
이에 사이노그램 전처리부(300)는 전술한 사이노그램의 전처리 및 패딩을 수행하여 영상 재구성 신경망(400)의 입력 사이노그램을 출력한다. 또한 사이노그램 전처리부(300)의 입력 사이노그램은 학습모델 구축부(200)로 전달된다.
이에 학습모델 구축부(200)는 사이노그램 생성부(200)에서 얻어진 정답 영상과 사이노그램 전처리부(200)에서 얻어진 입력 사이노그램으로 훈련에 사용되는 학습 데이터 쌍을 생성하고 생성된 학습 데이터 쌍으로 학습 모델을 구축한다. 이때 학습 데이터는 총 162,833쌍의 사이노그램과 정답 영상 데이터에 대해 각각 117,465, 4,958, 40,410 쌍으로 분리되어 훈련(training), 검증(validation), 테스트(test) 데이터 세트로 사용될 수 있다.
본 발명의 한 실시예에 따른 영상 재구성 시스템의 영상 재구성 신경망(400)은 도 5에 도시된 바와 같이, 프리 필터링 모듈(410), 도메인 변환 모듈(420), 및 포스트 필터링 모듈(430)를 포함하고, 일 례로 하나의 영상 재구성 신경망(400)과 학습모델 구축부(100)는 모두 하나의 장치에 구비하여 전선 또는 커넥터 등을 통해 직접 연결되는 장치일 수 있다.
다른 례로, 도 5에 도시한 것처럼, 영상 재구성 신경망(400)과 학습모델 구축부(100)는 분리시켜 구성하고, 분리된 이들 구성간 무선통신 또는 유선통신을 통해 연결되는 구조로 형성될 수 있으며, 이를 한정하지는 않는다.
프리 필터링 모듈(410)은 적어도 하나의 (바람직하게 세 개)의 합성곱 레이어의 적층 구조로 구성되며 입력 사이노그램에 대해 필터링을 수행한다. 일 례로, 프리 필터링 모듈(410)의 첫 번째와 두 번째 합성곱 레이어는 3×3 커널 64개가 stride 1으로 구성되고 세 번째 합성곱 레이어는 1×1 커널 1개가 stride 1로 구성될 수 있다.
프리 필터링 모듈(410)의 각 합성곱 레이어의 가중치는 학습모델 구축부(100)의 학습을 통해 수신된 가중치로 업데이트된다. 즉, 최적화된 필터는 수신된 학습모델 구축부(100)의 가중치로 업데이트된 적어도 하나의 합성곱 레이어들이다.
여기서, 학습모델 구축부(200)의 학습을 통해 수신된 가중치는 기 정의된 손실함수를 토대로 재구성 영상 I(X, Y)과 정답 영상 간의 오차를 도출하고 도출된 재구성 영상 I(X, Y)과 정답 영상 간의 오차에 의거 도출되며, 본 명세서 상에서 학습모델 구축부(200)에 기 정의된 손실함수를 토대로 재구성 영상 I(X, Y)과 정답 영상 간의 오차를 도출하고 도출된 재구성 영상 I(X, Y)과 정답 영상 간의 오차에 의거 도출하는 일련의 과정은 후술한다.
도 6을 참조하면, 학습을 통해 가중치가 업데이트된 합성곱 레이어에 의거 최적화된 고주파 필터의 게인과 대표적인 고주파 필터인 ramp filter, Shepp-Logan filter, Cosine filter, Hamming filter, Hann filter 등의 고주파 필터들과의 주파수 특성을 비교하여 볼 때 프리 필터링 모듈(310)의 합성곱 레이어는 데이터 기반 고주파 필터임을 알 수 있다.
프리 필터링 모듈(410)은 배치 사이즈 32의 합성곱 레이어를 통해 고주파 필터링을 수행한 다음 필터링 된 사이노그램은 도메인 변환 모듈(320)로 전달된다.
도메인 변환 모듈(420)는 입력 노드와 출력 노드가 연결되는 완전 연결 레이어의 인공신경망 구조로 구비되며, 하이퍼볼릭 탄젠트(Hyperbolic tangent)가 활성화 함수로 적용된 두 개의 완전 연결 레이어는 프리 필터링 모듈(310)의 필터링 된 사이노그램에 대해 학습을 통해 영상 도메인 변환을 수행한다.
완전 연결 레이어(Fully Connected Layer)의 도메인 변환 모듈(400)에서 하이퍼볼릭 탄젠트(Hyperbolic tangent)가 활성화 함수를 이용하여 도메인 변환을 수행하고 도메인 변환된 영상 도메인으로 변환하는 과정은 사이노그램의 각 빈(bin) 값과 재구성하는 영상의 각 복셀(voxel) 값으로 백프로젝션하는 과정과 동일 또는 유사하다.
그리고, 도메인 변환 모듈(420)의 영상은 포스트 필터링 모듈(430)에 전달되며, 포스트 필터링 모듈(430)은 영상에 포함된 노이즈 또는 블러링 성분을 제거하여 재구성 영상 (I(x, y))를 출력한다.
한편, 학습모델 구축부(200)에 기 정의된 손실함수를 토대로 재구성 영상 I(X, Y)과 정답 영상 간의 오차를 도출하고 도출된 추정 영상과 정답 영상 간의 오차에 따라 계산된 가중치의 증분은 영상 재구성 신경망(400)의 포스트 필터링 모듈(430), 도메인 변환 모듈(420), 프리 필터링 모듈(410)의 각 가중치에 차례로 전달되어 적용된다.
한편, 학습모델 구축부(200)는 합성곱 레이어의 개수(The number of per-filter layers), 커널의 차원(kernel dimension) 및 크기(kernel size), 수용영역(Receptive field) 등의 하이퍼파라미터(hyperparameters)의 튜닝(tuning)을 통해 최적화된 가중치 파라미터를 찾도록 학습한다.
여기서, 하이퍼파라미터는 하기 표 1에 도시된 바와 같다.
[표 1]
Figure pat00001
일 례로, 선행문헌 1에 개시된 L2 loss와 gradient loss의 가중합 (weight-sum)으로 정의된 손실 함수(loss function)에 의거 화소 단위(pixel wise)의 재구성 영상 I(X, Y)과 정답 영상 간의 오차를 도출할 수 있고, 다른 례로 가장자리(edge)를 포함한 구조적인 유사도에 대한 오차를 도출할 수 있다.
예를 들어, 배치사이즈 32, 학습률(learning rate) 104, 및 가중치 감쇠 0.9의 ADAM optimizer를 사용하여 총 1000 에포크(epoch)에 걸쳐 학습이 수행된다.
이에 학습모델 구축부(200)는 재구성 영상 I(X, Y)과 정답 영상 간의 오차를 토대로 가중치를 도출하며, 도출된 가중치는 포스트 필터링 모듈(430), 도메인 변환 모듈(420), 및 프리 필터링 모듈(410)로 순차적으로 전달된다.
한편, 영상 재구성 신경망(400)은 학습 결과를 토대로 NRMSE(normalized root mean squared error) 또는 SSIM(structural similarity index measure)를 도출하고 도출된 NRMSE 또는 SSIM를 토대로 학습 평가를 수행할 수 있다.
여기서, NRMSE는 재구성 영상과 정답 영상의 픽셀 단위 오차이며 하기 식 1과 같이 정의된다.
[식 1]
Figure pat00002
NRMSE는 RMSE(root mean squared error)를 정답 영상의 평균값인
Figure pat00003
로 나눈 지표로 재구성 영상과 정답 영상은 NRMSE가 0에 가까운 값을 가질수록 두 영상이 일치됨을 나타낸다.
또한, SSIM은 재구성 영상과 정답 영상 간의 구조적인 유사도를 나타내며 다음 식 2로 정의된다.
[식 2]
Figure pat00004
여기서, a와 b는 각각 유사도를 계산하려는 두 영상에 사용되는 M × N 크기의 윈도우(window)이다. μ와 σ는 각 윈도우의 평균과 표준편차이며, c 1 과 c 2 는 지표의 값을 조정하기 위한 변수이다. SSIM은 0에서 1 사이의 값으로, 1에 가까운 값을 가질수록 두 영상이 구조적으로 유사함을 나타낸다.
하기 표 2는 학습모델 별 NRMSE 및 SSIM를 보인 예시도로서, 표 2를 참조하면 일 실시예에 따른 영상 재구성 신경망의 영상 재구성 성능이 학습모델 1(ramp 필터를 적용한 FBP)과 학습모델 2(AUTOMAP)과 비교하여 NRMSE은 0에 가깝고 SSIM은 1에 근접됨을 확인할 수 있다.
[표 2]
Figure pat00005
이에 영상 재구성 신경망은 도출된 NRMSE가 0에 근접할 수록 학습 모델의 성능 및 품질이 높은 것으로 평가되고, 도출된 SSIM가 1에 근접할 수록 학습 모델의 성능 및 품질이 높은 것으로 평가된다.
이에 일 실시예는 학습 결과에 따른 가중치로 합성곱 연산의 가중치를 업데이트함에 따라 전처리된 입력 사이노그램에 대해 최적화된 고주파 필터링을 수행한 다음 필터링된 사이노그램에 대해 영상 도메인 변환을 수행함에 따라 영상 재구성 시스템의 성능 및 품질을 향상시킬 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
학습 결과에 따른 가중치로 합성곱 연산의 가중치를 업데이트함에 따라 전처리된 입력 사이노그램에 대해 최적화된 필터링을 수행한 후 도메인 변환을 수행함에 따라 복잡한 모델링이나 파라미터 설정 없이 인공신경망 기반의 학습을 통해 영상 재구성의 성능 및 품질을 향상시킬 수 있는 투영기반의 의료영상 재구성 시스템에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 다양한 분야에서의 적용할 수 있고, 딥러닝 기반의 영상 재구성 모델 및 핵의학 영상 재구성의 핵심 기술을 확보함에 따라 관련 산업분야의 환경 모니터링을 적극적으로 활용할 수 있고, 핵의학 영상 재구성 시스템의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
100 : 사이노그램 생성부
200 : 학습모델 구축부
300 : 사이노그램 전처리부
400 : 영상 재구성 신경망
410 : 프리 필터링 모듈
420 : 도메인변환 모듈
430 : 포스트 필터링 모듈

Claims (7)

  1. 획득된 영상에 대해 생성된 사이노그램을 전처리하여 영상 재구성 신경망의 입력 사이노그램을 출력하는 사이노그램 전처리부; 및
    상기 영상 재구성 신경망은
    상기 입력 사이노그램을 영상으로 재구성하도록 구비하되,
    상기 입력 사이노그램에 대해 학습모델 구축부의 훈련을 통해 도출된 가중치로 연산을 수행하여 필터링된 사이노그램을 출력하는 프리 필터링 모듈;
    상기 필터링된 사이노그램을 상기 학습모델 구축부의 훈련을 통해 영상 도메인으로 변환하는 도메인 변환 모듈; 및
    상기 변환된 영상에 대해 상기 학습모델 구축부의 훈련을 통해 도출된 가중치로 연산을 수행하여 재구성 영상을 출력하는 포스트 필터링 모듈을 포함하는 것을 특징으로 하는 투영기반의 의료영상 재구성 시스템.
  2. 제1항에 있어서, 상기 학습모델 구축부는,
    훈련하고자 하는 FOV(Field Of View)의 영상에 대해 정규화된 정답 영상과 입력 사이노그램의 훈련 데이터 쌍을 학습 모델로 저장하고,
    기 정의된 손실함수를 이용하여 재구성 영상과 정담 영상 간의 오차로 가중치를 연산하고, 연산된 가중치로 상기 포스트 필터링 모듈, 상기 도메인 변환 모듈, 및 상기 프리 필터링 모듈의 가중치를 순차적으로 업데이트하도록 구비되는 것을 특징으로 하는 투영기반의 의료영상 재구성 시스템.
  3. 제1항에 있어서, 상기 프리 필터링모듈은
    적어도 하나의 합성곱 레이어가 적층 구조로 구비되고, 상기 입력 사이노그램에 대해 순차적으로 합성곱 연산을 수행하도록 구비되는 것을 특징으로 하는 투영기반의 의료영상 재구성 시스템.
  4. 제1항에 있어서, 상기 도메인 변환 모듈은
    적어도 하나의 완전 연결 레이어가 적층 구조로 구비되고, 상기 입력 사이노그램에 대해 순차적으로 연산을 수행하도록 구비되는 것을 특징으로 하는 투영기반의 의료영상 재구성 시스템.
  5. 제1항에 있어서, 상기 포스트 필터링모듈은
    적어도 하나의 합성곱 레이어가 적층 구조로 구비되고, 상기 입력 사이노그램에 대해 순차적으로 합성곱 연산을 수행하도록 구비되는 것을 특징으로 하는 투영기반의 의료영상 재구성 시스템.
  6. 제1항에 있어서, 상기 사이노그램 전처리부는,
    FOV(Field Of View) 영상에 대한 사이노그램의 앵글뷰를 복제하여 패딩을 수행하되,
    상기 FOV를 벗어난 radial bins을 0으로 패딩하도록 구비되는 것을 특징으로 하는 투영기반의 의료영상 재구성 시스템.
  7. 제5항에 있어서, 상기 사이노그램 전처리부는,
    FOV(Field Of View) 영상에 대한 사이노그램의 앵글뷰 중 정해진 패딩하고자 하는 영역의 크기만큼 FOV의 하단 사이노그램을 복제한 다음 좌우 반전 및 상하 반전하여 FOV의 상단에 패딩하고,
    정해진 패딩하고자 하는 영역 크기만큼 FOV의 상단의 사이노그램을 복제한 다음 좌우 반전 및 상하 반전하여 FOV의 하단에 패딩하도록 구비되는 것을 특징으로 하는 투영기반의 의료영상 재구성 시스템.

KR1020210137029A 2021-10-15 2021-10-15 투영기반의 의료영상 재구성 시스템 KR20230053810A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210137029A KR20230053810A (ko) 2021-10-15 2021-10-15 투영기반의 의료영상 재구성 시스템
PCT/KR2022/015391 WO2023063715A1 (ko) 2021-10-15 2022-10-12 투영기반의 의료영상 재구성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210137029A KR20230053810A (ko) 2021-10-15 2021-10-15 투영기반의 의료영상 재구성 시스템

Publications (1)

Publication Number Publication Date
KR20230053810A true KR20230053810A (ko) 2023-04-24

Family

ID=85988531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210137029A KR20230053810A (ko) 2021-10-15 2021-10-15 투영기반의 의료영상 재구성 시스템

Country Status (2)

Country Link
KR (1) KR20230053810A (ko)
WO (1) WO2023063715A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108601575B (zh) * 2016-05-20 2021-10-22 上海联影医疗科技股份有限公司 用于计算机断层扫描的系统和方法
WO2018126396A1 (en) * 2017-01-05 2018-07-12 General Electric Company Deep learning based estimation of data for use in tomographic reconstruction
KR102210474B1 (ko) * 2018-02-23 2021-02-01 서울대학교산학협력단 양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법
KR102039472B1 (ko) * 2018-05-14 2019-11-01 연세대학교 산학협력단 컴퓨터 단층촬영 영상 재구성 장치 및 방법
KR102331104B1 (ko) * 2019-09-02 2021-11-24 가천대학교 산학협력단 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템

Also Published As

Publication number Publication date
WO2023063715A1 (ko) 2023-04-20

Similar Documents

Publication Publication Date Title
CN110807737B (zh) 迭代图像重建框架
US10475214B2 (en) Tomographic reconstruction based on deep learning
Würfl et al. Deep learning computed tomography: Learning projection-domain weights from image domain in limited angle problems
US10984565B2 (en) Image processing method using convolutional neural network, image processing device and storage medium
US11026642B2 (en) Apparatuses and a method for artifact reduction in medical images using a neural network
US9036885B2 (en) Image reconstruction in computed tomography
CN109509235B (zh) Ct图像的重建方法、装置、设备及存储介质
US10925568B2 (en) Apparatus and method using physical model based deep learning (DL) to improve image quality in images that are reconstructed using computed tomography (CT)
US11547378B2 (en) Apparatus and method combining deep learning (DL) with an X-ray computed tomography (CT) scanner having a multi-resolution detector
Sunnegårdh et al. Regularized iterative weighted filtered backprojection for helical cone‐beam CT
Ye et al. Unified supervised-unsupervised (super) learning for x-ray ct image reconstruction
CN110651302A (zh) 用于图像重建的方法和设备
CN114358285A (zh) 一种基于流模型的pet系统衰减校正方法
Lv et al. A back‐projection‐and‐filtering‐like (BPF‐like) reconstruction method with the deep learning filtration from listmode data in TOF‐PET
Xie et al. Joint reconstruction and calibration using regularization by denoising with application to computed tomography
KR20230053810A (ko) 투영기반의 의료영상 재구성 시스템
CN115423892A (zh) 一种基于最大期望网络的无衰减校正pet重建方法
CN112233030B (zh) 一种基于深度学习的ct投影几何校正方法
US11574184B2 (en) Multi-modal reconstruction network
US11810228B2 (en) Network determination of limited-angle reconstruction
CN117203671A (zh) 基于机器学习的迭代图像重建改进
CN107251095A (zh) 图像重建系统、方法和计算机程序
CN112215910A (zh) X射线系统、图像处理装置及程序
Suzuki et al. Image Correction in Emission Tomography Using Deep Convolution Neural Network
CN114898008A (zh) 一种图像重建方法和系统