KR102357350B1 - 딥러닝을 이용한 저선량 ct 영상의 통계적 영상 복원 방법 및 시스템 - Google Patents

딥러닝을 이용한 저선량 ct 영상의 통계적 영상 복원 방법 및 시스템 Download PDF

Info

Publication number
KR102357350B1
KR102357350B1 KR1020200161272A KR20200161272A KR102357350B1 KR 102357350 B1 KR102357350 B1 KR 102357350B1 KR 1020200161272 A KR1020200161272 A KR 1020200161272A KR 20200161272 A KR20200161272 A KR 20200161272A KR 102357350 B1 KR102357350 B1 KR 102357350B1
Authority
KR
South Korea
Prior art keywords
image
layer
encoder
size
dose
Prior art date
Application number
KR1020200161272A
Other languages
English (en)
Inventor
최기환
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020200161272A priority Critical patent/KR102357350B1/ko
Priority to US17/535,682 priority patent/US20220164927A1/en
Application granted granted Critical
Publication of KR102357350B1 publication Critical patent/KR102357350B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/70—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/60—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/444—Low dose acquisition or reduction of radiation dose

Abstract

딥러닝을 이용한 저선량 CT 영상의 통계적 영상 복원 방법은 인코더를 이용하여 입력 영상인 저선량 CT 영상의 채널 수를 증가시키고 활성화 맵의 크기를 감소시키는 단계, 상기 인코더에 의해 생성된 활성화 맵을 복수의 레지듀얼 블록들에 통과시키는 단계 및 디코더를 이용하여 상기 레지듀얼 블록들을 통과한 상기 활성화 맵의 크기를 확장하여 노이즈가 감소된 결과 영상을 생성하는 단계를 포함한다.

Description

딥러닝을 이용한 저선량 CT 영상의 통계적 영상 복원 방법 및 시스템 {STATISTICAL IMAGE RESTORATION FOR LOW-DOSE CT IMAGE USING DEEP LEARNING}
본 발명은 딥러닝을 이용한 저선량 CT 영상의 통계적 영상 복원 방법 및 시스템에 관한 것으로, 더욱 상세하게는 저선량 CT 영상의 노이즈를 효과적으로 제거하는 저선량 CT 영상의 통계적 영상 복원 방법 및 시스템에 관한 것이다.
컴퓨터 단층 촬영(CT)은 임상 의사 결정에 있어 정확한 의료 영상을 빠르게 생성하기 위해 가장 일반적으로 사용되는 이미징 방식이다. 그러나, CT의 경우 다른 의료 영상 장치에 비해 방사선량이 훨씬 높기 때문에 CT의 광범위한 활용은 잠재적인 발암 가능성에 대한 우려를 증가시킬 수 있다. 예를 들어, 복부 CT 스캔은 복부 방사선 사진(abdominal radiograph)에 비해 약 50배의 방사선량을 환자에게 전달한다. 이보다 더 좋지 않은 것은 방사선 노출의 누적 위험이다.
방사선 노출을 감소시키기 위해 튜브 전류 조정 및 낮은 튜브 전압을 포함하는 선량 감소 기술이 저선량 CT(low-dose computed tomography, LDCT) 이미징 프로토콜에 적용될 수 있다. 그러나, 필터드 백프로젝션(filtered backprojection, FBP)을 이용한 표준 영상 복원은 결과 영상에 과도한 노이즈를 발생시키므로 최적의 영상 복원 방법이 아닐 수 있다.
LDCT 영상 복원에 대한 대안으로 지난 수십년간 반복적 복원(iterative reconstruction) 방법이 널리 관심을 받고 있고 광범위하게 연구되고 있다. IR 방법에서는, 데이터 통계 및 오브젝트에 대한 사전 지식이 영상 복원 절차에 통합될 수 있다. 좋은 영상 품질의 결과로 IR을 이용하는 CT 플랫폼은 임상에서 널리 이용된다. 그러나, IR 방법은 특히 반복적인 포워드 프로젝션과 백워드 프로젝션에 과도한 컴퓨테이셔널 파워(computational power)와 시간이 요구되어 임상에서의 사용이 제한적일 수 있다. 또한, 오브젝트에 대한 사전 지식이 정확하지 않은 경우, IR 영상에서 비정상적인 노이즈 바이어스(noise bias) 및 로우 콘트래스트 피쳐(low-contrast features)의 손실이 종종 발생할 수 있다.
본 발명이 이루고자 하는 목적은 저선량 CT 영상의 노이즈를 효과적으로 제거하는 딥러닝을 이용한 저선량 CT 영상의 통계적 영상 복원 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 딥러닝을 이용한 저선량 CT 영상의 통계적 영상 복원 시스템을 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝을 이용한 저선량 CT 영상의 통계적 영상 복원 방법은 인코더를 이용하여 입력 영상인 저선량 CT 영상의 채널 수를 증가시키고 활성화 맵의 크기를 감소시키는 단계, 상기 인코더에 의해 생성된 활성화 맵을 복수의 레지듀얼 블록들에 통과시키는 단계 및 디코더를 이용하여 상기 레지듀얼 블록들을 통과한 상기 활성화 맵의 크기를 확장하여 노이즈가 감소된 결과 영상을 생성하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 인코더는 4개의 컨볼루션 레이어를 포함할 수 있다. 상기 인코더의 제1 레이어로부터 제4 레이어로 갈수록 상기 필터의 개수는 점점 많아질 수 있다. 상기 인코더의 상기 제1 레이어로부터 상기 제4 레이어로 갈수록 상기 필터의 크기는 점점 감소하거나 동일하게 유지할 수 있다.
본 발명의 일 실시예에 있어서, 상기 인코더의 상기 제1 내지 제4 레이어는 각각 배치 노멀라이제이션 및 ReLU 액티베이션을 수행할 수 있다.
본 발명의 일 실시예에 있어서, 상기 인코더의 상기 제2 레이어의 필터의 크기는 상기 인코더의 상기 제1 레이어의 필터의 크기보다 작을 수 있다. 상기 인코더의 상기 제2 레이어의 필터의 개수는 상기 인코더의 상기 제1 레이어의 필터의 개수보다 많을 수 있다.
본 발명의 일 실시예에 있어서, 상기 인코더의 상기 제3 레이어의 필터의 크기는 상기 인코더의 상기 제2 레이어의 필터의 크기와 같을 수 있다. 상기 인코더의 상기 제3 레이어의 필터의 개수는 상기 인코더의 상기 제2 레이어의 필터의 개수보다 많을 수 있다.
본 발명의 일 실시예에 있어서, 상기 인코더의 상기 제4 레이어의 필터의 크기는 상기 인코더의 상기 제3 레이어의 필터의 크기와 같을 수 있다. 상기 인코더의 상기 제4 레이어의 필터의 개수는 상기 인코더의 상기 제3 레이어의 필터의 개수보다 많을 수 있다.
본 발명의 일 실시예에 있어서, 상기 레지듀얼 블록의 하나의 필터는 순차적으로 배치되는 제1 컨볼루션 레이어, 제1 배치 노멀라이제이션 레이어, ReLU 액티베이션 레이어, 제2 컨볼루션 레이어 및 제2 배치 노멀라이제이션 레이어를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 레지듀얼 블록의 필터의 개수는 상기 인코더의 제4 레이어의 필터의 개수와 동일할 수 있다.
본 발명의 일 실시예에 있어서, 상기 레지듀얼 블록은 상기 인코더에서 생성된 상기 활성화 맵의 크기와 상기 채널 수를 유지할 수 있다.
본 발명의 일 실시예에 있어서, 상기 디코더는 4개의 디컨볼루션 레이어를 포함할 수 있다. 상기 디코더의 제1 레이어로부터 제4 레이어로 갈수록 상기 필터의 개수는 점점 적어질 수 있다. 상기 디코더의 상기 제1 레이어로부터 상기 제4 레이어로 갈수록 상기 필터의 크기는 점점 증가하거나 동일하게 유지될 수 있다.
본 발명의 일 실시예에 있어서, 상기 디코더의 상기 제1 내지 제4 레이어는 각각 배치 노멀라이제이션 및 ReLU 액티베이션을 수행할 수 있다.
본 발명의 일 실시예에 있어서, 상기 디코더의 상기 제2 레이어의 필터의 크기는 상기 디코더의 상기 제1 레이어의 필터의 크기와 같을 수 있다. 상기 디코더의 상기 제2 레이어의 필터의 개수는 상기 디코더의 상기 제1 레이어의 필터의 개수보다 적을 수 있다.
본 발명의 일 실시예에 있어서, 상기 디코더의 상기 제3 레이어의 필터의 크기는 상기 디코더의 상기 제2 레이어의 필터의 크기와 같을 수 있다. 상기 디코더의 상기 제3 레이어의 필터의 개수는 상기 디코더의 상기 제2 레이어의 필터의 개수보다 적을 수 있다.
본 발명의 일 실시예에 있어서, 상기 디코더의 상기 제4 레이어의 필터의 크기는 상기 디코더의 상기 제3 레이어의 필터의 크기보다 클 수 있다. 상기 디코더의 상기 제4 레이어의 필터의 개수는 상기 디코더의 상기 제3 레이어의 필터의 개수보다 적을 수 있다.
본 발명의 일 실시예에 있어서, 상기 디코더의 상기 제1 레이어의 필터의 개수는 상기 인코더의 제3 레이어의 필터의 개수와 동일하고, 상기 디코더의 상기 제2 레이어의 필터의 개수는 상기 인코더의 제2 레이어의 필터의 개수와 동일하며, 상기 디코더의 상기 제3 레이어의 필터의 개수는 상기 인코더의 제1 레이어의 필터의 개수와 동일할 수 있다.
본 발명의 일 실시예에 있어서, 상기 저선량 CT 영상의 통계적 영상 복원 방법은 디스크리미네이터를 이용하여 상기 노이즈가 감소된 결과 영상을 입력 받아 확률 맵을 출력하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 디스크리미네이터는 제1 내지 제6 레이어를 포함할 수 있다. 상기 디스크리미네이터의 상기 제1 내지 제6 레이어의 필터의 크기는 동일할 수 있다. 상기 디스크리미네이터의 상기 제1 레이어로부터 상기 제5 레이어로 갈수록 상기 필터의 개수는 증가할 수 있다.
본 발명의 일 실시예에 있어서, 상기 디스크리미네이터의 상기 제1 레이어는 컨볼루셔널 레이어이고, 상기 제1 레이어에서 Leaky ReLU 액티베이션이 수행될 수 있다. 상기 디스크리미네이터의 상기 제2 내지 제4 레이어는 컨볼루셔널 레이어이고, 상기 제2 내지 제4 레이어에서 인스턴스 노멀라이제이션(Instance Normalization)과 Leaky ReLU 액티베이션이 수행될 수 있다. 상기 디스크리미네이터의 상기 제5 및 제6 레이어는 컨볼루셔널 레이어일 수 있다.
본 발명의 일 실시예에 있어서, 상기 디스크리미네이터는 상기 노이즈가 감소된 결과 영상과 상기 입력 영상(LDCT)에 대응하는 타겟 영상인 노멀 선량 CT 영상(NDCT)의 차이를 나타내는 로스 함수를 기초로 네트워크를 트레이닝하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 네트워크의 오브젝티브 함수(LstatCNN(G))는 LDCT 스태티스컬 로스(Lstats(G))와 NDCT 스타일 트랜스퍼 로스(Lstyle(G))의 결합으로 계산되며, 제어 파라미터가
Figure 112020127703477-pat00001
일 때,
Figure 112020127703477-pat00002
일 수 있다.
본 발명의 일 실시예에 있어서, 상기 LDCT 스태티스티컬 로스는 상기 입력 영상이 상기 인코더, 상기 레지듀얼 블록들 및 상기 디코더를 거쳐 생성된 상기 노이즈가 감소된 결과 영상과 상기 타겟 영상의 유클리디언 디스턴스를 나타낼 수 있다. 상기 NDCT 스타일 트랜스퍼 로스는 상기 노이즈가 감소된 결과 영상과 상기 타겟 영상의
Figure 112020127703477-pat00003
의 차이를 나타낼 수 있다.
본 발명의 일 실시예에 있어서, 상기 LDCT 스태티스컬 로스(Lstats(G))는
Figure 112020127703477-pat00004
일 수 있다. LDCT 프로젝션 데이터로부터 계산된 사이노그램 bi는
Figure 112020127703477-pat00005
이고, Io와 Ii는 각각 블랭크 포톤 인텐시티(blank photon intensity)와 측정된 포톤 인텐시티(measured photon intensity)이며,
Figure 112020127703477-pat00006
를 만족하고, A는 forward projection operator이고, b의 covariance matrix는
Figure 112020127703477-pat00007
이며,
Figure 112020127703477-pat00008
이고,
Figure 112020127703477-pat00009
은 사이노그램 내의 라인 인테그랄(line integrals)의 개수이며,
Figure 112020127703477-pat00010
가 A의 left inverse이고,
Figure 112020127703477-pat00011
가
Figure 112020127703477-pat00012
의 transpose일 때,
Figure 112020127703477-pat00013
이고,
Figure 112020127703477-pat00014
이며, x의 covariance matrix는
Figure 112020127703477-pat00015
이고,
Figure 112020127703477-pat00016
이며,
Figure 112020127703477-pat00017
은 locally weighted 백프로젝션이며, H는 필터 커널이고, G(x)는 상기 결과 영상이고, y는 상기 타겟 영상이며,
Figure 112020127703477-pat00018
의 diagonal entries인
Figure 112020127703477-pat00019
Figure 112020127703477-pat00020
이고,
Figure 112020127703477-pat00021
는
Figure 112020127703477-pat00022
이며,
Figure 112020127703477-pat00023
는 i번째 포인트 영상의 유닛 벡터일 수 있다.
본 발명의 일 실시예에 있어서, 상기 NDCT 스타일 트랜스퍼 로스(Lstyle(G))는
Figure 112020127703477-pat00024
이고, G(x)는 상기 결과 영상이며, y는 상기 타겟 영상일 수 있다.
본 발명의 일 실시예에 있어서, 상기 딥러닝을 이용한 저선량 CT 영상의 통계적 영상 복원 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝을 이용한 저선량 CT 영상의 통계적 영상 복원 시스템은 입력 영상인 저선량 CT 영상의 채널 수를 증가시키고 활성화 맵의 크기를 감소시키는 인코더, 상기 인코더에 의해 생성된 활성화 맵을 통과시키는 복수의 레지듀얼 블록들 및 상기 레지듀얼 블록들을 통과한 상기 활성화 맵의 크기를 확장하여 노이즈가 감소된 결과 영상을 생성하는 디코더를 포함한다.
본 발명의 일 실시예에 있어서, 상기 저선량 CT 영상의 통계적 영상 복원 시스템은 상기 노이즈가 감소된 결과 영상을 입력 받아 확률 맵을 출력하는 디스크리미네이터를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 저선량 CT 영상의 통계적 영상 복원 시스템은 상기 노이즈가 감소된 결과 영상과 상기 입력 영상(LDCT)에 대응하는 타겟 영상인 노멀 선량 CT 영상(NDCT)의 차이를 나타내는 로스 함수를 기초로 네트워크를 트레이닝할 수 있다.
본 발명에 따른 딥러닝을 이용한 저선량 CT 영상의 통계적 영상 복원 및 시스템에서는 입력 영상인 저선량 CT 영상에 대해 아티팩트를 추가하지 않으면서 노이즈 레벨을 성공적으로 줄이고 이미지 세부 정보를 복원할 수 있다. 또한, 해부학적 정보의 손실 없이 LDCT의 영상 품질을 복원할 수 있다.
도 1은 본 발명의 일 실시예에 따른 저선량 CT 영상의 통계적 영상 복원 시스템의 영상 복원 제너레이터의 모델 아키텍쳐를 나타내는 개념도이다.
도 2는 도 1의 영상 복원 제너레이터의 레지듀얼 블록을 나타내는 개념도이다.
도 3은 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 영상 복원 디스크리미네이터의 모델 아키텍쳐를 나타내는 개념도이다.
도 4는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 입력 영상의 일례를 나타내는 도면이다.
도 5는 도 4의 입력 영상에 대응하는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 출력 영상을 나타내는 도면이다.
도 6은 도 4의 입력 영상에 대응하는 노멀 선량 CT 영상을 나타내는 도면이다.
도 7은 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 입력 영상의 일례를 나타내는 도면이다.
도 8은 도 7의 입력 영상에 대응하는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 출력 영상을 나타내는 도면이다.
도 9는 도 7의 입력 영상에 대응하는 노멀 선량 CT 영상을 나타내는 도면이다.
도 10은 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 입력 영상의 일례를 나타내는 도면이다.
도 11은 도 10의 입력 영상에 대응하는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 출력 영상을 나타내는 도면이다.
도 12는 도 10의 입력 영상에 대응하는 노멀 선량 CT 영상을 나타내는 도면이다.
도 13은 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 입력 영상의 일례를 나타내는 도면이다.
도 14는 도 13의 입력 영상에 대응하는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 출력 영상을 나타내는 도면이다.
도 15는 도 13의 입력 영상에 대응하는 노멀 선량 CT 영상을 나타내는 도면이다.
도 16은 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 입력 영상의 일례를 나타내는 도면이다.
도 17은 도 16의 입력 영상에 대응하는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 출력 영상을 나타내는 도면이다.
도 18은 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 입력 영상의 일례를 나타내는 도면이다.
도 19는 도 18의 입력 영상에 대응하는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 출력 영상을 나타내는 도면이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 저선량 CT 영상의 통계적 영상 복원 시스템의 영상 복원 제너레이터(generator)의 모델 아키텍쳐를 나타내는 개념도이다. 도 2는 도 1의 영상 복원 제너레이터의 레지듀얼 블록(residual block)을 나타내는 개념도이다. 도 3은 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 영상 복원 디스크리미네이터(discriminator)의 모델 아키텍쳐를 나타내는 개념도이다.
도 1 내지 도 3을 참조하면, 딥러닝은 저선량 CT(low-dose computed tomography, LDCT) 영상에서 노이즈를 줄이는 수단으로 광범위한 관심을 끌고 있다. 딥 컨볼루셔널 뉴럴 네트워크(CNN)는 일반적으로 정상 선량 CT(normal-dose computed tomography, NDCT) 영상의 고품질 영상을 LCDT 영상으로 변환하도록 트레이닝된다. 그러나, LDCT 영상의 노이즈를 제거하기 위한 기존의 딥러닝 접근 방식은 종종 CT 영상의 통계적 특성을 간과할 수 있다.
본 발명에서는 딥러닝을 이용한 LDCT의 통계적 영상 복원에 대한 접근을 제안한다. 본 발명은 사이노그램(sinogram) 도메인에서의 노이즈 통계로부터 도출된 영상 도메인에서의 노이즈 속성을 통합하는 로스 함수(loss function)를 설명한다. 공간적으로 변화하는 CT 영상의 통계를 파악하기 위해, 풀사이즈 CT 슬라이스를 커버할 수 있도록 신경망의 리셉티브 필드(receptive fields)의 크기를 증가시킬 수 있다. 또한, 제안된 네트워크는 연속적인 복수의 CT 슬라이스들을 입력으로 취하여 z 방향의 상관 계수를 활용할 수 있다.
성능 평가를 위해, 제안된 네트워크는 LDCT-NDCT 영상 쌍(image pairs)으로 구성된 공개 데이터 세트로 트레이닝되고 검증된다. 또한, 임상 LDCT 영상으로 네트워크를 테스트하여 리트로스펙티브 스터디(retrospective study)를 수행한다. 실험 결과에 따르면, 본 실시예의 노이즈 제거 네트워크는 아티팩트를 추가하지 않으면서 노이즈 레벨을 성공적으로 줄이고 이미지 세부 정보를 복원할 수 있다. 본 발명은 통계적 딥러닝 접근이 해부학적 정보의 손실 없이 LDCT의 영상 품질을 복원할 수 있음을 나타낸다.
최근 몇 년 동안 딥러닝은 시각적 인식 및 영상 처리 분야에서 지배적인 기계 학습 도구가 되고 있다. 인간 수준의 영상 분류에 성공한 컨볼루션 뉴럴 네트워크(convolutional neural network, CNN)는 패치를 추출하고 윈도우를 이동시켜 오브젝트의 위치 파악 및 시맨틱 세그멘테이션(semantic segmentation)에 적용되고 있다. 계산 효율성과 정확성을 위해 패치를 추출하지 않고 전체 크기 이미지를 처리할 수 있는 풀리 컨볼루션 네트워크 아키텍쳐(fully convolutional network architecture)가 제안된다. 또한, 풀리 컨볼루션 네트워크를 기반으로, 적은 수의 트레이닝 예제로 사실적인 이미지를 생성하는 수단으로 GAN (generative adversarial network)도 제안된다.
이러한 딥러닝 기술은 LDCT 영상의 노이즈를 제거하는 데에 사용될 수 있다. 본 발명에서는 LDCT-NDCT 영상 쌍으로 CNN을 트레이닝시켜 LDCT 영상의 노이즈를 줄이는 것을 제안한다. LDCT-NDCT 영상 쌍으로 CNN을 훈련시켜 LDCT 영상의 노이즈를 줄일 때, 원본 이미지를 학습을 위해 중첩된 서브 영상으로 자르는 패치 방식 학습을 이용할 수 있다. 그러나, 리셉티브 필드가 작은 패치 방식 CNN은 트레이닝 샘플 수에 맞게 네트워크 파라미터의 수를 줄이게 된다. 예측을 위해, 트레이닝된 CNN이 슬라이딩 윈도우로 입력 영상을 이동하여 서브 이미지의 중첩이 발생한다. 패치 방식 학습은 제한된 수의 영상으로 CNN을 트레이닝할 때에 유용할 수는 있으나, 패치 방식 학습은 하위 계층의 피쳐 맵을 재사용하지 않으므로 계산의 비효율성이 발생할 수 있다. 또한, 윈도우를 슬라이딩하는 것은 쉬프트-인베리언트(shift-invariant)하기 때문에, 감소된 리셉티브 필드는 공간적으로 변화하는 노이즈 속성을 통합할 수 없다.
본 실시예에서는, CT 영상의 노이즈 특성을 학습 과정에 통합하기 위해 통계적 저선량 CT 영상 복원을 위한 딥러닝 프레임 워크를 이용한다. 본 실시예에 따르면, 영상 전체의 CT 노이즈 속성을 캡쳐하기 위해 네트워크의 리셉티브 필드를 증가시킬 수 있다. 또한, CT 영상의 노이즈 통계를 모델링하기 위한 로스 함수(loss function)를 설명한다. 또한, 제안된 네트워크는 CT 슬라이스에서 axial correlation과 z 방향 correlation을 활용하기 위해 2.5차원 프로세싱 파이프 라인을 갖는다. 또한, 제안된 네트워크는 보다 현실적인 실험을 위해 데이터 세트를 트레이닝 및 검증 분할로 나누는 일회성 교차 검증을 사용하여 철저하게 평가될 수 있다. 또한, 임상 LDCT 이미지로 네트워크를 테스트하기 위해 리트로스펙티브 스터디를 수행할 수 있다. 이를 통해, 본 실시예에 따른 방법은 정량적 및 정성적 지표에서 기존 노이즈 제거 방법을 능가한다는 것을 보여준다.
도 1의 본 실시예에 따른 네트워크 아키텍쳐는 종래의 딥 뉴럴 네트워크를 확장하여, 축 평면과 z 방향 모두에서 리셉티브 필드를 증가시킬 수 있다.
본 실시예에서, CT 노이즈 통계를 캡쳐하고 손상된 해부학적 정보를 복원하기 위해 리셉티브 필드를 증가시키는 도 1의 네트워크가 적용될 수 있다. 본 실시예에서 제안된 네트워크는 StatCNN과 StatGAN의 두 가지 유형으로 구현된다. StatCNN은 LDCT 영상의 노이즈를 제거하고 고품질의 영상을 생성하는 풀리 컨볼루셔널 네트워크이며, 제너러티브 애드버서리얼 네트워크(generative adversarial network, GAN)인 StatGAN은 애드버서리얼 로스(adversarial loss)를 갖는 StatCNN의 확장 버전이다. GAN 스트럭쳐의 일부로서, StatCNN은 StatGAN의 제너레이터에 해당할 수 있다. 제안된 네트워크의 구조는 도 1 내지 도 3에 도시되어 있다. 각 레이어의 필터의 수, 크기 및 스트라이드가 표시되었다.
도 1 내지 도 3에서 보듯이, 더 깊은 네트워크 구조로 전체 CT 축 슬라이스를 커버하기 위해 리셉티브 필드를 증가시킬 수 있다. 또한, 연속적인 CT 슬라이스 간의 z 방향 correlation을 활용하여 2.5 차원 네트워크 파이프라인을 형성할 수 있다.
의료 영상은 일반적으로 슬라이스의 두께와 간격이 작기 때문에, 인접한 슬라이스들은 z 방향에서 높은 상관 관계를 가지므로 z 방향 correlation은 LDCT의 영상 복원에 매우 유용할 수 있다. 제안된 네트워크의 입력으로 512 × 512 × 5 LDCT 영상이 이용될 수 있다. 상기 512 × 512 × 5 LDCT 영상은 인접한 LDCT 슬라이스들을 쌓아서 형성할 수 있고, 중심 슬라이스가 타겟 NDCT 슬라이스와 대응될 수 있다.
상기 영상 복원 제너레이터(StatCNN)는 인코더, 복수의 레지듀얼 블록들(residual blocks) 및 디코더를 포함할 수 있다. 도 1에서 보듯이, 상기 인코더는 채널 수를 늘리면서 활성화 맵의 크기를 줄일 수 있다. 인코더의 각 레이어 에서는 배치 노멀라이제이션(batch normalization) 및 ReLU 액티베이션(ReLU activation)이 수행된다. 상기 인코더는 4개의 컨볼루션 레이어를 포함할 수 있다. 상기 인코더에서 생성된 활성화 맵은 LDCT로부터 NDCT로 영상을 변환하기 위해 복수의 레지듀얼 블록들을 통과한다. 예를 들어, 상기 레지듀얼 블록들의 개수는 18개일 수 있다. 레지듀얼 보틀넥들(residual bottlenecks)과 스킵 커넥션들(skip connections)로 구축된 레지듀얼 블록들은 활성화 맵의 크기와 채널 수를 유지한다. 활성화 맵의 크기는 디코더에 의해 다시 확장된다. 상기 디코더는 3개의 디컨볼루션 레이어를 이용하여 표현 크기를 확대하고, 하나의 출력 레이어를 이용하여 최종 영상을 생성한다.
상기 제너레이터의 아키텍처는 풀리 컨볼루셔널 네트워크이므로, 상기 제안된 네트워크는 트레이닝 및 예측 단계에서 전처리 및 후처리 없이 전체 크기 이미지를 입력으로 처리할 수 있다.
도 1에서 보듯이, 예를 들어, 상기 인코더의 입력은 512 × 512 × 5 LDCT 영상이다. 예를 들어, 상기 인코더는 4개의 컨볼루션 레이어를 포함할 수 있다. 상기 인코더의 제1 레이어로부터 제4 레이어로 갈수록 상기 필터의 개수는 점점 많아질 수 있다. 상기 인코더의 상기 제1 레이어로부터 상기 제4 레이어로 갈수록 상기 필터의 크기는 점점 감소하거나 동일할 수 있다. 상기 인코더의 상기 제1 레이어로부터 상기 제4 레이어로 갈수록 상기 필터의 스트라이드는 점점 증가하거나 동일할 수 있다.
상기 인코더의 상기 제1 내지 제4 레이어는 각각 배치 노멀라이제이션 및 ReLU 액티베이션을 수행할 수 있다.
예를 들어, 상기 인코더의 제1 레이어는 7 × 7 크기의 64개의 필터들을 포함하고, 상기 필터들의 스트라이드는 1일 수 있다.
예를 들어, 상기 인코더의 제2 레이어의 필터의 크기는 상기 인코더의 상기 제1 레이어의 필터의 크기보다 작을 수 있다. 상기 인코더의 제2 레이어의 필터의 개수는 상기 인코더의 상기 제1 레이어의 필터의 개수보다 많을 수 있다. 예를 들어, 상기 인코더의 제2 레이어는 3 × 3 크기의 128개의 필터들을 포함하고, 상기 필터들의 스트라이드는 2일 수 있다.
예를 들어, 상기 인코더의 제3 레이어의 필터의 크기는 상기 인코더의 상기 제2 레이어의 필터의 크기와 같을 수 있다. 상기 인코더의 제3 레이어의 필터의 개수는 상기 인코더의 상기 제2 레이어의 필터의 개수보다 많을 수 있다. 예를 들어, 상기 인코더의 제3 레이어는 3 × 3 크기의 256개의 필터들을 포함하고, 상기 필터들의 스트라이드는 2일 수 있다.
예를 들어, 상기 인코더의 제4 레이어의 필터의 크기는 상기 인코더의 상기 제3 레이어의 필터의 크기와 같을 수 있다. 상기 인코더의 제4 레이어의 필터의 개수는 상기 인코더의 상기 제3 레이어의 필터의 개수보다 많을 수 있다. 예를 들어, 상기 인코더의 제4 레이어는 3 × 3 크기의 512개의 필터들을 포함하고, 상기 필터들의 스트라이드는 2일 수 있다.
상기 인코더의 출력은 상기 복수의 레지듀얼 블록들을 통과한다. 예를 들어, 상기 레지듀얼 블록들의 개수는 18개일 수 있다.
상기 레지듀얼 블록들의 필터의 개수, 필터의 크기 및 필터의 스트라이드는 동일할 수 있다. 제1 내지 제18 레지듀얼 블록들은 3 × 3 크기의 512개의 필터들을 포함하고, 상기 필터들의 스트라이드는 1일 수 있다.
도 2에서 보듯이, 상기 레지듀얼 블록의 하나의 필터는 스트라이드가 1이고 크기가 3 × 3인 제1 컨볼루션 레이어, 제1 배치 노멀라이제이션 레이어, ReLU 액티베이션 레이어, 스트라이드가 1이고 크기가 3 × 3인 제2 컨볼루션 레이어 및 제2 배치 노멀라이제이션 레이어를 포함할 수 있다.
예를 들어, 상기 디코더의 출력은 512 × 512 × 1의 노이즈가 제거된 영상일 수 있다. 예를 들어, 상기 디코더는 4개의 디컨볼루션 레이어를 포함할 수 있다. 상기 디코더의 제4 레이어는 출력 레이어일 수 있다. 상기 디코더의 제1 레이어로부터 제4 레이어로 갈수록 상기 필터의 개수는 점점 적어질 수 있다. 상기 디코더의 상기 제1 레이어로부터 상기 제4 레이어로 갈수록 상기 필터의 크기는 점점 증가하거나 동일할 수 있다. 상기 디코더의 상기 제1 레이어로부터 상기 제4 레이어로 갈수록 상기 필터의 스트라이드는 점점 감소하거나 동일할 수 있다.
상기 디코더의 상기 제1 내지 제4 레이어는 각각 배치 노멀라이제이션 및 ReLU 액티베이션을 수행할 수 있다.
예를 들어, 상기 디코더의 제1 레이어는 3 × 3 크기의 256개의 필터들을 포함하고, 상기 필터들의 스트라이드는 2일 수 있다.
예를 들어, 상기 디코더의 제2 레이어의 필터의 크기는 상기 디코더의 상기 제1 레이어의 필터의 크기와 같을 수 있다. 상기 디코더의 제2 레이어의 필터의 개수는 상기 디코더의 상기 제1 레이어의 필터의 개수보다 적을 수 있다. 예를 들어, 상기 디코더의 제2 레이어는 3 × 3 크기의 128개의 필터들을 포함하고, 상기 필터들의 스트라이드는 2일 수 있다.
예를 들어, 상기 디코더의 제3 레이어의 필터의 크기는 상기 디코더의 상기 제2 레이어의 필터의 크기와 같을 수 있다. 상기 디코더의 제3 레이어의 필터의 개수는 상기 디코더의 상기 제2 레이어의 필터의 개수보다 적을 수 있다. 예를 들어, 상기 디코더의 제3 레이어는 3 × 3 크기의 64개의 필터들을 포함하고, 상기 필터들의 스트라이드는 2일 수 있다.
예를 들어, 상기 디코더의 제4 레이어의 필터의 크기는 상기 디코더의 상기 제3 레이어의 필터의 크기보다 클 수 있다. 상기 디코더의 제4 레이어의 필터의 개수는 상기 디코더의 상기 제3 레이어의 필터의 개수보다 적을 수 있다. 예를 들어, 상기 디코더의 제4 레이어는 7 × 7 크기의 1개의 필터를 포함하고, 상기 필터의 스트라이드는 1일 수 있다.
도 3에서 보듯이, 상기 디스크리미네이터의 입력 영상은 512 × 512 × 1의 영상일 수 있고, 상기 디스크리미네이터의 입력 영상은 상기 제너레이터의 출력 영상일 수 있다. 상기 디스크리미네이터의 출력은 29 × 29 × 1의 확률 맵일 수 있다.
예를 들어, 상기 디스크리미네이터는 6개의 레이어를 포함할 수 있다. 상기 디스크리미네이터의 제1 레이어 내지 제6 레이어의 필터의 크기는 동일할 수 있다. 상기 디스크리미네이터의 제1 레이어로부터 제5 레이어로 갈수록 상기 필터의 개수는 증가할 수 있다. 상기 디스크리미네이터의 상기 제1 레이어로부터 상기 제6 레이어로 갈수록 상기 필터의 스트라이드는 점점 감소하거나 동일할 수 있다.
상기 디스크리미네이터의 제1 레이어는 컨볼루셔널 레이어이고, 상기 제1 레이어에서 Leaky ReLU 액티베이션이 수행될 수 있다. 상기 디스크리미네이터의 제2 내지 제4 레이어는 컨볼루셔널 레이어이고, 상기 제2 내지 제4 레이어에서 인스턴스 노멀라이제이션(Instance Normalization)과 Leaky ReLU 액티베이션이 수행될 수 있다. 상기 디스크리미네이터의 제5 및 제6 레이어는 컨볼루셔널 레이어일 수 있다.
예를 들어, 상기 디스크리미네이터의 제1 레이어는 4 × 4 크기의 64개의 필터들을 포함하고, 상기 필터들의 스트라이드는 2일 수 있다. 예를 들어, 상기 디스크리미네이터의 제2 레이어는 4 × 4 크기의 128개의 필터들을 포함하고, 상기 필터들의 스트라이드는 2일 수 있다. 예를 들어, 상기 디스크리미네이터의 제3 레이어는 4 × 4 크기의 256개의 필터들을 포함하고, 상기 필터들의 스트라이드는 2일 수 있다. 예를 들어, 상기 디스크리미네이터의 제4 레이어는 4 × 4 크기의 512개의 필터들을 포함하고, 상기 필터들의 스트라이드는 2일 수 있다. 예를 들어, 상기 디스크리미네이터의 제5 레이어는 4 × 4 크기의 1024개의 필터들을 포함하고, 상기 필터들의 스트라이드는 1일 수 있다. 예를 들어, 상기 디스크리미네이터의 제6 레이어는 4 × 4 크기의 1개의 필터를 포함하고, 상기 필터의 스트라이드는 1일 수 있다.
본 실시예의 로스 함수(loss function)는 상기 제너레이터의 출력 영상인 NDCT 영상으로부터 노이즈가 제거된 영상과 NDCT 영상의 차이를 나타낸다. 본 실시예의 로스 함수(loss function)에 대해 설명하면 아래와 같다. LDCT-NDCT 데이터 세트
Figure 112020127703477-pat00025
는 입력 영상과 타겟 영상의 쌍에 해당한다. 목표는 쌍으로 제공되는 트레이닝 샘플
Figure 112020127703477-pat00026
로 두 도메인을 맵핑하는 네트워크
Figure 112020127703477-pat00027
를 학습하는 것이다. 여기서, 쌍으로 제공되는 트레이닝 샘플인
Figure 112020127703477-pat00028
와
Figure 112020127703477-pat00029
Figure 112020127703477-pat00030
는 노이즈가 있는 LDCT 영상과 고품질 NDCT 영상의 벡터 표현에 해당한다. 영상 쌍 (x,y)에 대해, G(x)는 LDCT 영상 x를 뉴럴 네트워크 G에 입력했을 때의 결과 영상을 의미한다. 상기한 바와 같이, 상기 뉴럴 네트워크의 입력은 연속된 LDCT 슬라이스들의 스택(stack)일 수 있다. xk가 x의 k번째 이웃한 슬라이스라고 할 때,
Figure 112020127703477-pat00031
로 표현될 수 있고, 입력 스택은 2B+1 슬라이스를 가질 수 있다.
1) LDCT 스태티스티컬 로스(statistical loss)에 대해 설명하면 아래와 같다. 입력 LDCT 영상 x는 노이즈가 없는 영상인
Figure 112020127703477-pat00032
와 이에 추가된 노이즈
Figure 112020127703477-pat00033
를 포함한다고 하면,
Figure 112020127703477-pat00034
로 표현될 수 있다.
LDCT 프로젝션 데이터로부터 사이노그램 b를 계산하면
Figure 112020127703477-pat00035
이다. 여기서, Io와 Ii는 각각 블랭크 포톤 인텐시티(blank photon intensity)와 측정된 포톤 인텐시티(measured photon intensity)이다. 측정된 포톤 인텐시티 Ii가 독립적이라고 가정하면,
Figure 112020127703477-pat00036
를 만족하며, 여기서 A는 forward projection operator일 수 있다. b의 covariance matrix는
Figure 112020127703477-pat00037
이다. 여기서,
Figure 112020127703477-pat00038
이며,
Figure 112020127703477-pat00039
은 사이노그램 내의 라인 인테그랄(line integrals)의 개수이다. 비록 상기 수식 내의 트루 사이노그램인
Figure 112020127703477-pat00040
가 일반적으로 사용 가능하지 않더라도 NDCT 사이노그램을 트루 사이노그램의 근접치로 사용할 수 있다.
Figure 112020127703477-pat00041
가 A의 left inverse이고,
Figure 112020127703477-pat00042
가
Figure 112020127703477-pat00043
의 transpose일 때,
Figure 112020127703477-pat00044
이고,
Figure 112020127703477-pat00045
일 수 있다. 이 때, x의 covariance matrix는
Figure 112020127703477-pat00046
이다. 상기 수식은 A의 left inverse의 필터드 백프로젝션(FBP)을 이용하여 계산될 수 있다 (
Figure 112020127703477-pat00047
). 여기서,
Figure 112020127703477-pat00048
은 locally weighted 백프로젝션일 수 있고, H는 필터 커널일 수 있다. G(x)는 입력 영상 x로부터 노이즈가 제거된 영상이므로, LDCT의 스태티스컬 로스 함수는 아래와 같이 계산될 수 있다:
Figure 112020127703477-pat00049
.
여기서, covariance matrix
Figure 112020127703477-pat00050
는
Figure 112020127703477-pat00051
내의 large matrix일 수 있다. 계산의 복잡도를 줄이기 위해, covariance matrix
Figure 112020127703477-pat00052
는 covariance matrix
Figure 112020127703477-pat00053
의 diagonal entries
Figure 112020127703477-pat00054
Figure 112020127703477-pat00055
를 이용하여 근사될 수 있다.
이어서,
Figure 112020127703477-pat00056
를 계산하면,
Figure 112020127703477-pat00057
이다. 여기서, 유닛 벡터
Figure 112020127703477-pat00058
는 i번째 포인트 영상에 대응할 수 있다. 간략화된 LDCT 스태티스티컬 로스 함수는 아래와 같다:
Figure 112020127703477-pat00059
.
여기서, 영상 픽셀들 내에서의 노이즈는 독립적이고, 바이어스 되지 않은 것을 가정한다.
Figure 112020127703477-pat00060
이다. Dx는 NDCT 사이노그램에 따라 달라지므로, 스태티스티컬 웨이트는 오프라인으로 계산될 수 있다. Dx는 트레이닝 세트 (X,Y)의 영상 쌍 (x,y)에 따라 달라질 수 있다.
2) NDCT 스타일 트랜스퍼 로스(style transfer loss)에 대해 설명하면 아래와 같다. 영상 생성을 위한
Figure 112020127703477-pat00061
로스 함수는 저주파 정보를 정확하게 캡쳐할 수 있는 반면, 영상이 흐려질 수 있다. NDCT의 영상 스타일을 트랜스퍼하기 위해
Figure 112020127703477-pat00062
이 사용될 수 있고, 상기 NDCT 스타일 트랜스퍼 로스 함수는 아래와 같다:
Figure 112020127703477-pat00063
.
제안된 네트워크의 오브젝티브 함수를 계산하기 위해, LDCT 스태티스티컬 로스와 NDCT 스타일 트랜스퍼 로스가 아래와 같이 결합될 수 있다:
Figure 112020127703477-pat00064
.
여기서,
Figure 112020127703477-pat00065
는 LDCT 스태티스티컬 로스 성분과 NDCT 스타일 트랜스퍼 로스 성분 사이의 상대적 중요도를 나타내는 제어 파라미터일 수 있다. LDCT 스태티스티컬 로스 성분이 상대적으로 중요한 경우,
Figure 112020127703477-pat00066
를 크게 설정할 수 있고, NDCT 스타일 트랜스퍼 로스 성분이 상대적으로 중요한 경우,
Figure 112020127703477-pat00067
를 작게 설정할 수 있다.
상기 오브젝티브 함수는 LDCT-NDCT의 영상 쌍의 트레이닝에 사용된다. 상기 LDCT 스태티스티컬 로스는 상기 LDCT 영상이 제너레이터를 거쳐 생성된 노이즈가 제거된 영상과 타겟 레퍼런스 영상인 상기 NDCT 영상의 유클리디언 디스턴스를 나타낼 수 있다. 본 실시예의 상기 LDCT 스태티스티컬 로스는 픽셀의 중요도를 반영할 수 있다. 영상 도메인에서의 상기 픽셀의 중요도는 프로젝션 데이터의 포톤 스태티스틱스로부터 도출될 수 있다. 상기 NDCT 스타일 트랜스퍼 로스 함수는 노이즈가 제거된 영상이 타겟 레퍼런스 영상인 NDCCT 영상과 유사한 스타일을 갖도록 하는 함수를 의미하고, 상기 제안된 네트워크가 노이즈가 제거된 영상과 타겟 레퍼런스 영상의
Figure 112020127703477-pat00068
의 차이가 작아지는 방향으로 트레이닝을 하게 할 수 있다.
제안된 네트워크의 오브젝티브 함수에서 최소화 문제를 최적화하여 제안된 네트워크의 네트워크 파라미터를 아래와 같이 얻을 수 있다:
Figure 112020127703477-pat00069
.
도 4는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 입력 영상의 일례를 나타내는 도면이다. 도 5는 도 4의 입력 영상에 대응하는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 출력 영상을 나타내는 도면이다. 도 6은 도 4의 입력 영상에 대응하는 노멀 선량 CT 영상을 나타내는 도면이다.
도 1 내지 도 6을 참조하면, 성능 평가를 위해, 제안된 네트워크는 LDCT-NDCT 영상 쌍(image pairs)으로 구성된 공개 데이터 세트로 트레이닝되고 검증된다.
도 4는 환자의 축 방향의 LDCT 입력 영상을 나타내고, 도 5는 LDCT 입력 영상의 노이즈를 감소시킨 출력 영상을 나타내며, 도 6은 LDCT 입력 영상에 대응하는 타겟 영상을 나타낸다.
도 5의 출력 영상을 보면, 도 4의 입력 영상에 비해 노이즈가 효과적으로 제거되었으며, 도 6의 타겟 영상과 유사한 모습을 나타낸다.
도 7은 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 입력 영상의 일례를 나타내는 도면이다. 도 8은 도 7의 입력 영상에 대응하는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 출력 영상을 나타내는 도면이다. 도 9는 도 7의 입력 영상에 대응하는 노멀 선량 CT 영상을 나타내는 도면이다.
도 7은 영상 품질을 더 잘 평가하기 위해 도 4의 환자의 축 방향의 LDCT 입력 영상의 관심 영역(Region of Interest, ROI)를 화살표로 표시한 영상이다. 도 8은 도 7의 LDCT 입력 영상의 노이즈를 감소시킨 출력 영상을 나타내며, 도 9는 도 7의 LDCT 입력 영상에 대응하는 타겟 영상을 나타낸다.
제안된 네트워크는 도 8의 위쪽 화살표로 표시된대로 간겸상간막(falciform ligament) 근처의 작은 정맥 가지의 가장자리를 복원하면서 고품질의 영상을 생성했다. 또한, 제안된 네트워크는 도 8의 아래쪽 화살표로 표시된대로 간 문맥(portal vein)과 인접한 작은 구조를 성공적으로 복원시키고 시각화했다.
이와 같이 도 8의 출력 영상을 보면, 도 7의 입력 영상에 비해 노이즈가 효과적으로 제거되었음을 알 수 있다. 또한, 도 5와 도 8에서는 확장된 리셉티브 필드에 의해 입력 영상의 노이즈를 효율적으로 줄이고, 영상 정보를 잘 복원한 것을 확인할 수 있다.
도 10은 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 입력 영상의 일례를 나타내는 도면이다. 도 11은 도 10의 입력 영상에 대응하는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 출력 영상을 나타내는 도면이다. 도 12는 도 10의 입력 영상에 대응하는 노멀 선량 CT 영상을 나타내는 도면이다.
도 10은 환자의 관상 면의 LDCT 입력 영상을 나타내고, 도 11은 LDCT 입력 영상의 노이즈를 감소시킨 출력 영상을 나타내며, 도 12는 LDCT 입력 영상에 대응하는 타겟 영상을 나타낸다.
도 11의 출력 영상을 보면, 도 10의 입력 영상에 비해 노이즈가 효과적으로 제거되었으며, 도 12의 타겟 영상과 유사한 모습을 나타낸다.
도 13은 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 입력 영상의 일례를 나타내는 도면이다. 도 14는 도 13의 입력 영상에 대응하는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 출력 영상을 나타내는 도면이다. 도 15는 도 13의 입력 영상에 대응하는 노멀 선량 CT 영상을 나타내는 도면이다.
도 13은 영상 품질을 더 잘 평가하기 위해 도 10의 환자의 관상 면의 LDCT 입력 영상의 관심 영역(Region of Interest, ROI)를 화살표로 표시한 영상이다. 도 14는 도 13의 LDCT 입력 영상의 노이즈를 감소시킨 출력 영상을 나타내며, 도 15는 도 13의 LDCT 입력 영상에 대응하는 타겟 영상을 나타낸다.
제안된 네트워크는 뉴럴 네트워크가 축 슬라이스로 트레이닝된 z 방향으로 해부학 정보를 성공적으로 복원한 것을 알 수 있다. 제안된 네트워크는 문맥 정맥 분지(portal venous branches)를 명확하게 보여주었다.
도 16은 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 입력 영상의 일례를 나타내는 도면이다. 도 17은 도 16의 입력 영상에 대응하는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 출력 영상을 나타내는 도면이다.
도 1 내지 도 17을 참조하면, 공개 데이터 세트로 트레이닝한 후에 임상 LDCT 영상으로 네트워크를 테스트하였다.
도 16은 환자의 축 방향의 LDCT 입력 영상을 나타내고, 도 17은 LDCT 입력 영상의 노이즈를 감소시킨 출력 영상을 나타낸다.
도 18은 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 입력 영상의 일례를 나타내는 도면이다. 도 19는 도 18의 입력 영상에 대응하는 도 1의 저선량 CT 영상의 통계적 영상 복원 시스템의 출력 영상을 나타내는 도면이다.
도 18은 영상 품질을 더 잘 평가하기 위해 도 16의 환자의 축 방향의 LDCT 입력 영상의 관심 영역(Region of Interest, ROI)를 화살표로 표시한 영상이다. 도 19는 도 18의 LDCT 입력 영상의 노이즈를 감소시킨 출력 영상을 나타낸다.
제안된 네트워크는 도 19에서 화살표로 표시된 작은 정맥을 복원하면서 고품질 이미지를 생성했다.
본 발명에서는 LDCT 영상 복원을 위한 CT 노이즈 통계를 통합한 네트워크를 제안하였다. CT 영상의 공간적으로 변환하는 노이즈 패턴을 포착하기 위해 종래의 네트워크를 더 깊은 네트워크로 확장하여, 축 평면에서 풀 사이즈 영상을 커버할 수 있도록 리셉티브 필드를 확장하였다. 누적 된 CT 슬라이스를 입력으로 취함으로써 제안된 네트워크는 z 방향의 공간적 correlation을 활용하고 작고 미세한 구조를 복원할 수 있다.
상기 제안된 네트워크는 NDCT 이미지에서 노이즈 패턴을 캡처하면서 2.5 차원 LDCT 슬라이스 스택에서 해부학적 정보를 효율적으로 복원할 수 있다. 제안된 네트워크는 CT 영상의 노이즈 통계를 통합한 로스 함수를 사용하여 성공적으로 노이즈 레벨을 줄이고 해부학적 정보를 복원할 수 있다.
본 발명의 일 실시예에 의하면, 전술한 딥러닝을 이용한 저선량 CT 영상의 통계적 영상 복원 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한, 전술한 딥러닝을 이용한 저선량 CT 영상의 통계적 영상 복원 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구형될 수 있다.
본 발명은 딥러닝을 이용한 저선량 CT 영상의 통계적 영상 복원 방법 및 시스템에 관한 것으로, 입력 영상인 저선량 CT 영상에 대해 아티팩트를 추가하지 않으면서 노이즈 레벨을 성공적으로 줄이고 이미지 세부 정보를 복원할 수 있다. 또한, 해부학적 정보의 손실 없이 LDCT의 영상 품질을 복원할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (27)

  1. 인코더를 이용하여 입력 영상인 저선량 CT 영상의 채널 수를 증가시키고 활성화 맵의 크기를 감소시키는 단계;
    상기 인코더에 의해 생성된 활성화 맵을 복수의 레지듀얼 블록들에 통과시키는 단계; 및
    디코더를 이용하여 상기 레지듀얼 블록들을 통과한 상기 활성화 맵의 크기를 확장하여 노이즈가 감소된 결과 영상을 생성하는 단계를 포함하고,
    상기 인코더는 4개의 컨볼루션 레이어를 포함하고,
    상기 인코더의 제1 레이어로부터 제4 레이어로 갈수록 상기 컨볼루션 레이어의 필터의 개수는 점점 많아지며,
    상기 인코더의 상기 제1 레이어로부터 상기 제4 레이어로 갈수록 상기 필터의 크기는 점점 감소하거나 동일하게 유지되는 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 인코더의 상기 제1 내지 제4 레이어는 각각 배치 노멀라이제이션 및 ReLU 액티베이션을 수행하는 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  4. 제1항에 있어서, 상기 인코더의 상기 제2 레이어의 필터의 크기는 상기 인코더의 상기 제1 레이어의 필터의 크기보다 작고,
    상기 인코더의 상기 제2 레이어의 필터의 개수는 상기 인코더의 상기 제1 레이어의 필터의 개수보다 많은 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  5. 제4항에 있어서, 상기 인코더의 상기 제3 레이어의 필터의 크기는 상기 인코더의 상기 제2 레이어의 필터의 크기와 같고,
    상기 인코더의 상기 제3 레이어의 필터의 개수는 상기 인코더의 상기 제2 레이어의 필터의 개수보다 많은 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  6. 제5항에 있어서, 상기 인코더의 상기 제4 레이어의 필터의 크기는 상기 인코더의 상기 제3 레이어의 필터의 크기와 같고,
    상기 인코더의 상기 제4 레이어의 필터의 개수는 상기 인코더의 상기 제3 레이어의 필터의 개수보다 많은 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  7. 인코더를 이용하여 입력 영상인 저선량 CT 영상의 채널 수를 증가시키고 활성화 맵의 크기를 감소시키는 단계;
    상기 인코더에 의해 생성된 활성화 맵을 복수의 레지듀얼 블록들에 통과시키는 단계; 및
    디코더를 이용하여 상기 레지듀얼 블록들을 통과한 상기 활성화 맵의 크기를 확장하여 노이즈가 감소된 결과 영상을 생성하는 단계를 포함하고,
    상기 레지듀얼 블록의 하나의 필터는 순차적으로 배치되는 제1 컨볼루션 레이어, 제1 배치 노멀라이제이션 레이어, ReLU 액티베이션 레이어, 제2 컨볼루션 레이어 및 제2 배치 노멀라이제이션 레이어를 포함하는 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  8. 인코더를 이용하여 입력 영상인 저선량 CT 영상의 채널 수를 증가시키고 활성화 맵의 크기를 감소시키는 단계;
    상기 인코더에 의해 생성된 활성화 맵을 복수의 레지듀얼 블록들에 통과시키는 단계; 및
    디코더를 이용하여 상기 레지듀얼 블록들을 통과한 상기 활성화 맵의 크기를 확장하여 노이즈가 감소된 결과 영상을 생성하는 단계를 포함하고,
    상기 레지듀얼 블록의 필터의 개수는 상기 인코더의 제4 레이어의 필터의 개수와 동일한 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  9. 인코더를 이용하여 입력 영상인 저선량 CT 영상의 채널 수를 증가시키고 활성화 맵의 크기를 감소시키는 단계;
    상기 인코더에 의해 생성된 활성화 맵을 복수의 레지듀얼 블록들에 통과시키는 단계; 및
    디코더를 이용하여 상기 레지듀얼 블록들을 통과한 상기 활성화 맵의 크기를 확장하여 노이즈가 감소된 결과 영상을 생성하는 단계를 포함하고,
    상기 레지듀얼 블록은 상기 인코더에서 생성된 상기 활성화 맵의 크기와 상기 채널 수를 유지하는 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  10. 인코더를 이용하여 입력 영상인 저선량 CT 영상의 채널 수를 증가시키고 활성화 맵의 크기를 감소시키는 단계;
    상기 인코더에 의해 생성된 활성화 맵을 복수의 레지듀얼 블록들에 통과시키는 단계; 및
    디코더를 이용하여 상기 레지듀얼 블록들을 통과한 상기 활성화 맵의 크기를 확장하여 노이즈가 감소된 결과 영상을 생성하는 단계를 포함하고,
    상기 디코더는 4개의 디컨볼루션 레이어를 포함하고,
    상기 디코더의 제1 레이어로부터 제4 레이어로 갈수록 상기 디컨볼루션 레이어의 필터의 개수는 점점 적어지며,
    상기 디코더의 상기 제1 레이어로부터 상기 제4 레이어로 갈수록 상기 필터의 크기는 점점 증가하거나 동일하게 유지되는 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  11. 제10항에 있어서,
    상기 디코더의 상기 제1 내지 제4 레이어는 각각 배치 노멀라이제이션 및 ReLU 액티베이션을 수행하는 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  12. 제10항에 있어서, 상기 디코더의 상기 제2 레이어의 필터의 크기는 상기 디코더의 상기 제1 레이어의 필터의 크기와 같고,
    상기 디코더의 상기 제2 레이어의 필터의 개수는 상기 디코더의 상기 제1 레이어의 필터의 개수보다 적은 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  13. 제12항에 있어서, 상기 디코더의 상기 제3 레이어의 필터의 크기는 상기 디코더의 상기 제2 레이어의 필터의 크기와 같고,
    상기 디코더의 상기 제3 레이어의 필터의 개수는 상기 디코더의 상기 제2 레이어의 필터의 개수보다 적은 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  14. 제13항에 있어서, 상기 디코더의 상기 제4 레이어의 필터의 크기는 상기 디코더의 상기 제3 레이어의 필터의 크기보다 크고,
    상기 디코더의 상기 제4 레이어의 필터의 개수는 상기 디코더의 상기 제3 레이어의 필터의 개수보다 적은 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  15. 제14항에 있어서, 상기 디코더의 상기 제1 레이어의 필터의 개수는 상기 인코더의 제3 레이어의 필터의 개수와 동일하고,
    상기 디코더의 상기 제2 레이어의 필터의 개수는 상기 인코더의 제2 레이어의 필터의 개수와 동일하고,
    상기 디코더의 상기 제3 레이어의 필터의 개수는 상기 인코더의 제1 레이어의 필터의 개수와 동일한 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  16. 인코더를 이용하여 입력 영상인 저선량 CT 영상의 채널 수를 증가시키고 활성화 맵의 크기를 감소시키는 단계;
    상기 인코더에 의해 생성된 활성화 맵을 복수의 레지듀얼 블록들에 통과시키는 단계; 및
    디코더를 이용하여 상기 레지듀얼 블록들을 통과한 상기 활성화 맵의 크기를 확장하여 노이즈가 감소된 결과 영상을 생성하는 단계를 포함하고,
    디스크리미네이터를 이용하여 상기 노이즈가 감소된 결과 영상을 입력 받아 확률 맵을 출력하는 단계를 더 포함하는 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  17. 제16항에 있어서, 상기 디스크리미네이터는 제1 내지 제6 레이어를 포함하고,
    상기 디스크리미네이터의 상기 제1 내지 제6 레이어의 필터의 크기는 동일하며,
    상기 디스크리미네이터의 상기 제1 레이어로부터 상기 제5 레이어로 갈수록 상기 필터의 개수는 증가하는 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  18. 제17항에 있어서, 상기 디스크리미네이터의 상기 제1 레이어는 컨볼루셔널 레이어이고, 상기 제1 레이어에서 Leaky ReLU 액티베이션이 수행되며,
    상기 디스크리미네이터의 상기 제2 내지 제4 레이어는 컨볼루셔널 레이어이고, 상기 제2 내지 제4 레이어에서 인스턴스 노멀라이제이션(Instance Normalization)과 Leaky ReLU 액티베이션이 수행되며,
    상기 디스크리미네이터의 상기 제5 및 제6 레이어는 컨볼루셔널 레이어인 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  19. 인코더를 이용하여 입력 영상인 저선량 CT 영상의 채널 수를 증가시키고 활성화 맵의 크기를 감소시키는 단계;
    상기 인코더에 의해 생성된 활성화 맵을 복수의 레지듀얼 블록들에 통과시키는 단계; 및
    디코더를 이용하여 상기 레지듀얼 블록들을 통과한 상기 활성화 맵의 크기를 확장하여 노이즈가 감소된 결과 영상을 생성하는 단계를 포함하고,
    상기 노이즈가 감소된 결과 영상과 상기 입력 영상(LDCT)에 대응하는 타겟 영상인 노멀 선량 CT 영상(NDCT)의 차이를 나타내는 로스 함수를 기초로 네트워크를 트레이닝하는 단계를 더 포함하는 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  20. 제19항에 있어서, 상기 네트워크의 오브젝티브 함수(LstatCNN(G))는 LDCT 스태티스컬 로스(Lstats(G))와 NDCT 스타일 트랜스퍼 로스(Lstyle(G))의 결합으로 계산되며, 제어 파라미터가
    Figure 112020127703477-pat00070
    일 때,
    Figure 112020127703477-pat00071
    인 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  21. 제20항에 있어서, 상기 LDCT 스태티스티컬 로스는 상기 입력 영상이 상기 인코더, 상기 레지듀얼 블록들 및 상기 디코더를 거쳐 생성된 상기 노이즈가 감소된 결과 영상과 상기 타겟 영상의 유클리디언 디스턴스를 나타내고,
    상기 NDCT 스타일 트랜스퍼 로스는 상기 노이즈가 감소된 결과 영상과 상기 타겟 영상의
    Figure 112020127703477-pat00072
    의 차이를 나타내는 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  22. 제20항에 있어서, 상기 LDCT 스태티스컬 로스(Lstats(G))는
    Figure 112020127703477-pat00073
    이고,
    LDCT 프로젝션 데이터로부터 계산된 사이노그램 bi는
    Figure 112020127703477-pat00074
    이고, Io와 Ii는 각각 블랭크 포톤 인텐시티(blank photon intensity)와 측정된 포톤 인텐시티(measured photon intensity)이며,
    Figure 112020127703477-pat00075
    를 만족하고, A는 forward projection operator이고,
    b의 covariance matrix는
    Figure 112020127703477-pat00076
    이며,
    Figure 112020127703477-pat00077
    이고,
    Figure 112020127703477-pat00078
    은 사이노그램 내의 라인 인테그랄(line integrals)의 개수이며,
    Figure 112020127703477-pat00079
    가 A의 left inverse이고,
    Figure 112020127703477-pat00080
    가
    Figure 112020127703477-pat00081
    의 transpose일 때,
    Figure 112020127703477-pat00082
    이고,
    Figure 112020127703477-pat00083
    이며,
    x의 covariance matrix는
    Figure 112020127703477-pat00084
    이고,
    Figure 112020127703477-pat00085
    이며,
    Figure 112020127703477-pat00086
    은 locally weighted 백프로젝션이며, H는 필터 커널이고,
    G(x)는 상기 결과 영상이고, y는 상기 타겟 영상이며,
    Figure 112020127703477-pat00087
    의 diagonal entries인
    Figure 112020127703477-pat00088
    Figure 112020127703477-pat00089
    이고,
    Figure 112020127703477-pat00090
    는
    Figure 112020127703477-pat00091
    이며,
    Figure 112020127703477-pat00092
    는 i번째 포인트 영상의 유닛 벡터인 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  23. 제20항에 있어서, 상기 NDCT 스타일 트랜스퍼 로스(Lstyle(G))는
    Figure 112020127703477-pat00093
    이고, G(x)는 상기 결과 영상이고, y는 상기 타겟 영상인 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 방법.
  24. 제1항 및 제3항 내지 제23항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  25. 입력 영상인 저선량 CT 영상의 채널 수를 증가시키고 활성화 맵의 크기를 감소시키는 인코더;
    상기 인코더에 의해 생성된 활성화 맵을 통과시키는 복수의 레지듀얼 블록들; 및
    상기 레지듀얼 블록들을 통과한 상기 활성화 맵의 크기를 확장하여 노이즈가 감소된 결과 영상을 생성하는 디코더를 포함하고,
    상기 노이즈가 감소된 결과 영상을 입력 받아 확률 맵을 출력하는 디스크리미네이터를 더 포함하는 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 시스템.
  26. 삭제
  27. 입력 영상인 저선량 CT 영상의 채널 수를 증가시키고 활성화 맵의 크기를 감소시키는 인코더;
    상기 인코더에 의해 생성된 활성화 맵을 통과시키는 복수의 레지듀얼 블록들; 및
    상기 레지듀얼 블록들을 통과한 상기 활성화 맵의 크기를 확장하여 노이즈가 감소된 결과 영상을 생성하는 디코더를 포함하고,
    상기 노이즈가 감소된 결과 영상과 상기 입력 영상(LDCT)에 대응하는 타겟 영상인 노멀 선량 CT 영상(NDCT)의 차이를 나타내는 로스 함수를 기초로 네트워크를 트레이닝하는 것을 특징으로 하는 저선량 CT 영상의 통계적 영상 복원 시스템.
KR1020200161272A 2020-11-26 2020-11-26 딥러닝을 이용한 저선량 ct 영상의 통계적 영상 복원 방법 및 시스템 KR102357350B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200161272A KR102357350B1 (ko) 2020-11-26 2020-11-26 딥러닝을 이용한 저선량 ct 영상의 통계적 영상 복원 방법 및 시스템
US17/535,682 US20220164927A1 (en) 2020-11-26 2021-11-25 Method and system of statistical image restoration for low-dose ct image using deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200161272A KR102357350B1 (ko) 2020-11-26 2020-11-26 딥러닝을 이용한 저선량 ct 영상의 통계적 영상 복원 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102357350B1 true KR102357350B1 (ko) 2022-02-07

Family

ID=80253310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200161272A KR102357350B1 (ko) 2020-11-26 2020-11-26 딥러닝을 이용한 저선량 ct 영상의 통계적 영상 복원 방법 및 시스템

Country Status (2)

Country Link
US (1) US20220164927A1 (ko)
KR (1) KR102357350B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114781446A (zh) * 2022-04-11 2022-07-22 山东省人工智能研究院 一种基于hin网络和梯度差损失的心电信号降噪方法
KR20230161659A (ko) 2022-05-19 2023-11-28 연세대학교 산학협력단 컴퓨터 단층촬영 영상 재구성 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190039460A (ko) * 2017-10-04 2019-04-12 주식회사 스트라드비젼 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
KR20190137913A (ko) * 2017-04-25 2019-12-11 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소
KR102095444B1 (ko) * 2019-10-30 2020-03-31 엘아이지넥스원 주식회사 딥러닝 기반의 선형성을 갖는 노이즈 영상 제거 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190137913A (ko) * 2017-04-25 2019-12-11 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소
KR20190039460A (ko) * 2017-10-04 2019-04-12 주식회사 스트라드비젼 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
KR102095444B1 (ko) * 2019-10-30 2020-03-31 엘아이지넥스원 주식회사 딥러닝 기반의 선형성을 갖는 노이즈 영상 제거 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114781446A (zh) * 2022-04-11 2022-07-22 山东省人工智能研究院 一种基于hin网络和梯度差损失的心电信号降噪方法
CN114781446B (zh) * 2022-04-11 2022-12-09 山东省人工智能研究院 一种基于hin网络和梯度差损失的心电信号降噪方法
KR20230161659A (ko) 2022-05-19 2023-11-28 연세대학교 산학협력단 컴퓨터 단층촬영 영상 재구성 장치 및 방법

Also Published As

Publication number Publication date
US20220164927A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
Yang et al. Deep edge guided recurrent residual learning for image super-resolution
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
US11120582B2 (en) Unified dual-domain network for medical image formation, recovery, and analysis
CN109948796B (zh) 自编码器学习方法、装置、计算机设备及存储介质
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN112257766B (zh) 一种基于频域滤波处理的自然场景下阴影识别检测方法
KR102357350B1 (ko) 딥러닝을 이용한 저선량 ct 영상의 통계적 영상 복원 방법 및 시스템
KR102094599B1 (ko) 뉴럴 네트워크를 이용한 내부 전산단층 촬영 영상 처리 방법 및 그 장치
CN111968058A (zh) 一种低剂量ct图像降噪方法
Zhang et al. VST-Net: Variance-stabilizing transformation inspired network for Poisson denoising
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
Wang et al. Non-uniform motion deblurring with blurry component divided guidance
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
US20230325982A1 (en) Methods, systems and computer programs for processing image data for generating a filter
Lin et al. Noise2Grad: Extract Image Noise to Denoise.
Zhu et al. STEDNet: Swin transformer‐based encoder–decoder network for noise reduction in low‐dose CT
CN117197627B (zh) 一种基于高阶退化模型的多模态图像融合方法
KR102319643B1 (ko) 점 확산 함수 레이어를 가진 뉴럴 네트워크를 이용한 현미경 영상 처리 방법 및 그 장치
Gupta et al. A robust and efficient image de-fencing approach using conditional generative adversarial networks
US20230385643A1 (en) Generating neural networks tailored to optimize specific medical image properties using novel loss functions
Jin et al. Low-dose CT image restoration based on noise prior regression network
CN116228900A (zh) 一种基于深度学习的压缩能谱x射线ct图像重建方法
CN114663937A (zh) 模型训练及图像处理方法、介质、装置和计算设备
Zhang et al. Multi Morphological Sparse Regularized Image Super-Resolution Reconstruction Based on Machine Learning Algorithm
Choi et al. Statistical image restoration for low-dose CT using convolutional neural networks

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant