KR102174600B1 - 뉴럴 네트워크를 이용한 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치 - Google Patents

뉴럴 네트워크를 이용한 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치 Download PDF

Info

Publication number
KR102174600B1
KR102174600B1 KR1020190066175A KR20190066175A KR102174600B1 KR 102174600 B1 KR102174600 B1 KR 102174600B1 KR 1020190066175 A KR1020190066175 A KR 1020190066175A KR 20190066175 A KR20190066175 A KR 20190066175A KR 102174600 B1 KR102174600 B1 KR 102174600B1
Authority
KR
South Korea
Prior art keywords
image
neural network
data
domain
sinogram
Prior art date
Application number
KR1020190066175A
Other languages
English (en)
Other versions
KR20190138292A (ko
Inventor
예종철
한요섭
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20190138292A publication Critical patent/KR20190138292A/ko
Application granted granted Critical
Publication of KR102174600B1 publication Critical patent/KR102174600B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/083—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/419—Imaging computed tomograph
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/10—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the material being confined in a container, e.g. in a luggage X-ray scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30112—Baggage; Luggage; Suitcase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/421—Filtered back projection [FBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Abstract

뉴럴 네트워크를 이용한 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 처리 방법은 미리 설정된 개수의 다방향 엑스레이 전산단층 촬영 데이터를 수신하는 단계; 및 영상 도메인(image domain)과 사이노그램 도메인(sinogram domain)에서 학습된 뉴럴 네트워크를 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 단계를 포함한다.

Description

뉴럴 네트워크를 이용한 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치{METHOD FOR PROCESSING MULTI-DIRECTIONAL X-RAY COMPUTED TOMOGRAPHY IMAGE USING ARTIFICIAL NEURAL NETWORK AND APPARATUS THEREFOR}
본 발명은 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치에 관한 것으로, 보다 구체적으로는 영상 도메인과 사이노그램 도메인 각각에서 학습된 뉴럴 네트워크를 이용하여 다방향 엑스레이 전산단층 촬영 영상을 고품질의 영상으로 복원할 수 있는 영상 처리 방법 및 그 장치에 관한 것이다.
테러의 위협이 일상생활 속 가까운 영역에서도 일어나게 되면서 보안 의식이 날로 높아지고 있다. 이와 같은 높아진 보안 의식을 반영하듯이, 다양한 영역에서 특히 철도, 항만, 그리고 공항에서의 수하물에 대한 검색 및 보안의 수준이 상향되고 있다. 공항에서의 일반적인 수하물에 관한 보안 시스템은 2차원 엑스레이 폭발물 감지 시스템(2D X-ray explosive detection system)이다. 2차원 엑스레이 폭발물 감지 시스템(2D EDS)의 경우, 양방향 엑스레이 영상을 촬영하여 그 투시영상을 검사관이 검토한 후, 위험성 여부를 판단하게 된다. 2D EDS의 경우, 투시영상을 기반으로 수하물의 위험성 여부를 판단하기 때문에 숨겨진 3차원 위험물에 관한 검출률이 떨어질 가능성이 존재하게 된다. 이러한 문제를 해결하기 위해 다양한 연구가 진행되었다.
종래 일 실시예 기술은 고정형 CT EDS 시스템은 고정된 엑스레이 소스 및 감지기들을 사용하며, 이는 시스템이 반복적인 휴대용 수화물 검사에 적합하도록 만든다. 도 1은 일 실시예의 고정형 CT EDS 시스템에 대한 소스 및 감지기 구조를 나타낸 것으로, 도 1a에 도시된 바와 같이 반대 방향을 보고 있는 9쌍의 엑스레이 소스 및 듀얼 에너지 감지기는 일정한 각도 간격으로 분포된다. 컨베이어 벨트를 멈추지 않은 채 매끄러운 검색을 하기 위해서는, 소스 및 감지기의 각 쌍은 휴대용 수화물들이 컨베이어 벨트 상에 연속적으로 움직이는 동안 다양한 투영 시점 데이터가 수집될 수 있도록 도 1b에 도시된 바와 같이 z 방향을 따라서 배열된다. 그리고 나서, 9-뷰(view) 팬 빔(fan beam) 투영 데이터는 측정 데이터를 분할(rebin)함으로써 각각의 z 슬라이스에 대해 얻어질 수 있다. 이러한 고정형 CT 시스템은 회전하는 겐트리를 필요로 하지 않기 때문에 EDS 적용에 적합하지만, 단지 9개의 투영 시점으로는 심각한 선형 아티팩트 때문에 종래의 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 사용하기가 어렵다. 그러므로, 빠른 복원 시간을 갖춘 진보된 복원 알고리즘들이 요구된다.
종래 다른 일 실시예 기술은 희소-뷰 전산단층 촬영(Computed Tomography, CT) EDS를 이용한 연구가 있으며, 이는 CT 시스템 모델 기반 반복적 복원기법(model-based iterative reconstruction, MBIR)이다. 일반적인 CT EDS 장비의 경우, 회전형 겐트리 기반 CT 시스템을 사용하기 때문에 장시간 장비를 구동하게 될 경우, 회전형 겐트리에 기구적 과부하를 주게 된다. 또한, 기구적 과부하를 무시한다 하더라도, MBIR 기법의 경우 CT 시스템 연산자를 반복적으로 수행해야 하므로 높은 연산시간이 소요되는 문제가 있다. 이는 짧은 시간에 다량의 수하물 검색이 요구되는 철도, 항만, 그리고 공항에서 실제로 운용되기엔 한계가 있다.
근래에 들어, 뉴럴 네트워크(neural network)를 이용한 전산단층 촬영 복원기법에 관한 연구가 활발히 진행되고 있다. 뉴럴 네트워크를 이용한 복원기법의 경우, 복원수행시간이 굉장히 짧음에도 불구하고 우수한 성능을 보여주는 것으로 알려져 있다.
본 발명의 실시예들은, 영상 도메인과 사이노그램 도메인 각각에서 학습된 뉴럴 네트워크를 이용하여 다방향 엑스레이 전산단층 촬영 영상을 고품질의 영상으로 복원할 수 있는 영상 처리 방법 및 그 장치를 제공한다.
본 발명의 실시예들은, 고정형 겐트리 기반의 9-뷰 CT EDS로부터 촬영되는 다방향 엑스레이 전산단층 촬영 영상을 영상 도메인과 사이노그램 도메인 각각에서 학습된 뉴럴 네트워크를 이용하여 고품질의 영상으로 복원할 수 있는 영상 처리 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 영상 처리 방법은 미리 설정된 개수의 다방향 엑스레이 전산단층 촬영 데이터를 수신하는 단계; 및 영상 도메인(image domain)과 사이노그램 도메인(sinogram domain)에서 학습된 뉴럴 네트워크를 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 단계를 포함한다.
상기 영상을 복원하는 단계는 상기 다방향 엑스레이 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘을 이용하여 최초 복원 영상들을 획득하는 단계; 상기 영상 도메인의 뉴럴 네트워크를 이용하여 상기 최초 복원 영상들에서 잡음을 제거하는 단계; 상기 잡음이 제거된 최초 복원 영상들을 투영하여 투영 뷰 데이터를 생성하는 단계; 상기 사이노그램 도메인의 뉴럴 네트워크를 이용하여 상기 투영 뷰 데이터로부터 잡음이 제거된 사이노그램 데이터를 획득하는 단계; 및 상기 잡음이 제거된 사이노그램 데이터를 상기 해석적 알고리즘을 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 단계를 포함할 수 있다.
상기 영상 도메인의 뉴럴 네트워크는 영상 도메인에서 미리 설정된 아티팩트로 손상된 영상과 모델 기반 반복적 복원기법(model-based iterative reconstruction, MBIR) 복원 간의 매핑에 대한 학습 모델을 이용하여 상기 최초 복원 영상들에서 잡음을 제거할 수 있다.
상기 사이노그램 도메인의 뉴럴 네트워크는 사이노그램 데이터와 사이노그램 도메인 내 투영 데이터 간의 매핑에 대한 학습 모델을 이용하여 상기 투영 뷰 데이터로부터 잡음이 제거된 사이노그램 데이터를 제공할 수 있다.
상기 영상을 복원하는 단계는 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함하는 해석적 알고리즘을 이용하여 상기 영상을 복원할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
상기 영상을 복원하는 단계는 상기 영상 도메인의 뉴럴 네트워크와 상기 사이노그램 도메인의 뉴럴 네트워크를 이용하여 복원된 영상을 상기 영상 도메인의 뉴럴 네트워크의 라벨 데이터로 이용함으로써, 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원할 수 있다.
본 발명의 다른 일 실시예에 따른 영상 처리 방법은 미리 설정된 개수의 다방향 엑스레이 전산단층 촬영 데이터를 수신하는 단계; 및 영상 도메인(image domain)에서 학습된 제1 학습 모델에 대한 제1 뉴럴 네트워크와 사이노그램 도메인(sinogram domain)에서 학습된 제2 학습 모델에 대한 제2 뉴럴 네트워크 및 미리 설정된 해석적 알고리즘을 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 단계를 포함한다.
본 발명의 일 실시예에 따른 영상 처리 장치는 미리 설정된 개수의 다방향 엑스레이 전산단층 촬영 데이터를 수신하는 수신부; 및 영상 도메인(image domain)과 사이노그램 도메인(sinogram domain)에서 학습된 뉴럴 네트워크를 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 복원부를 포함한다.
상기 복원부는 상기 다방향 엑스레이 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘을 이용하여 최초 복원 영상들을 획득하고, 상기 영상 도메인의 뉴럴 네트워크를 이용하여 상기 최초 복원 영상들에서 잡음을 제거하며, 상기 잡음이 제거된 최초 복원 영상들을 투영하여 투영 뷰 데이터를 생성하고, 상기 사이노그램 도메인의 뉴럴 네트워크를 이용하여 상기 투영 뷰 데이터로부터 잡음이 제거된 사이노그램 데이터를 획득하며, 상기 잡음이 제거된 사이노그램 데이터를 상기 해석적 알고리즘을 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원할 수 있다.
상기 영상 도메인의 뉴럴 네트워크는 영상 도메인에서 미리 설정된 아티팩트로 손상된 영상과 모델 기반 반복적 복원기법(model-based iterative reconstruction, MBIR) 복원 간의 매핑에 대한 학습 모델을 이용하여 상기 최초 복원 영상들에서 잡음을 제거할 수 있다.
상기 사이노그램 도메인의 뉴럴 네트워크는 사이노그램 데이터와 사이노그램 도메인 내 투영 데이터 간의 매핑에 대한 학습 모델을 이용하여 상기 투영 뷰 데이터로부터 잡음이 제거된 사이노그램 데이터를 제공할 수 있다.
상기 복원부는 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함하는 해석적 알고리즘을 이용하여 상기 영상을 복원할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
상기 복원부는 상기 영상 도메인의 뉴럴 네트워크와 상기 사이노그램 도메인의 뉴럴 네트워크를 이용하여 복원된 영상을 상기 영상 도메인의 뉴럴 네트워크의 라벨 데이터로 이용함으로써, 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원할 수 있다.
본 발명의 또 다른 일 실시예에 따른 영상 처리 방법은 전산단층 촬영 데이터를 수신하는 단계; 및 영상 도메인(image domain)과 사이노그램 도메인(sinogram domain)에서 학습된 뉴럴 네트워크를 이용하여 상기 전산단층 촬영 데이터에 대한 영상을 복원하는 단계를 포함한다.
본 발명의 실시예들에 따르면, 영상 도메인과 사이노그램 도메인 각각에서 학습된 뉴럴 네트워크를 이용하여 다방향 엑스레이 전산단층 촬영 영상을 고품질의 영상으로 복원할 수 있다.
본 발명의 실시예들에 따르면, 반복적 복원 기법을 이용하여 영상복원을 수행하던 어플리케이션을 뉴럴 네트워크를 이용하여 영상복원이 가능하기 때문에 기존에 반복적 복원기법을 통해 영상복원을 수행하던 다양한 어플리케이션을 대체할 수 있다. 예를 들어, 본 발명은 수하물 검색 장비(baggage scanner) 뿐만 아니라 의료용 전산단층 촬영(Computed Tomography, CT) 장비에도 적용할 수 있다.
이는 수하물 검색 장비와 마찬가지로 의료용 전산단층 촬영 장비 또한 동일한 수학적 모델 기반의 장비이기 때문에 본 발명을 적용할 수 있으며, 이를 통해 종래 기술에서 나타난 한계를 극복할 수 있다.
본 발명의 실시예들에 따르면, 뉴럴 네트워크를 이용하여 다방향 엑스레이 전산단층 촬영 영상을 복원함으로써, 복원 속도 뿐만 아니라 복원 성능을 향상시킬 수 있다. 즉, 반복적 복원 기법을 이용한 영상복원기법의 경우 오랜 복원 시간에 비하여 그 복원 성능이 떨어지지만, 본 발명은 뉴럴 네트워크를 이용하여 영상을 복원함으로써, 복원 속도 뿐만 아니라 복원 성능을 향상시킬 수 있다.
이러한 본 발명은 다방향 엑스레이 전산단층 촬영 영상을 복원하는 것으로 한정하지 않으며, 영상 도메인과 사이노그램 도메인을 포함하는 영상 데이터 예를 들어, 전산단층 촬영 데이터로부터 고해상도의 전산단층 영상을 복원할 수 있는 모든 종류의 영상 데이터에 적용할 수 있다.
도 1은 일 실시예의 고정형 CT EDS 시스템에 대한 소스 및 감지기 구조를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 본 발명에 따른 영상 처리 방법을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 영상 도메인 및 사이노그램 도메인 네트워크에 대한 변형된 U-Net 구조를 나타낸 것이다.
도 5는 본 발명에 따른 방법과 기존 방법들에 대한 영상 복원 결과를 비교한 일 예시도를 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사 전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
기존의 데이터베이스를 구축함에 있어서 원본 영상과 왜곡 영상간의 짝을 이루는 데이터베이스를 구축하는 것이 일반적인 현황이지만, 실제 현장 또는 이미 구축된 시스템으로부터 원본영상을 획득하는 작업이 불가능하거나 굉장히 어려운 경우가 대부분이다.
본 발명은 이러한 제한적인 환경에서 기존의 뉴럴 네트워크를 이용한 경우와 대비하였을 때 복원 성능을 향상시킬 수 있는 영상 처리 기술을 제공하는 것을 그 요지로 한다.
여기서, 본 발명은 영상 도메인에서 학습된 뉴럴 네트워크와 사이노그램 도메인에서 학습된 뉴럴 네트워크를 이용하여 다방향 엑스레이 전산단층 촬영 데이터에 대한 고품질의 영상을 복원할 수 있다.
이 때, 본 발명에서 사용하는 뉴럴 네트워크는 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있으며, 풀링 레이어에서 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 처리 방법은 다방향 엑스레이 전산단층 촬영 데이터 예를 들어, 9-뷰 엑스레이 전산단층 촬영 데이터를 수신하는 단계(S210)와 영상 도메인(image domain)과 사이노그램 도메인(sinogram domain)에서 학습된 뉴럴 네트워크를 이용하여 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 단계(S220)를 포함한다.
여기서, 단계 S220은 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함하는 해석적 알고리즘을 이용하여 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원할 수 있다.
본 발명에서 사용되는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있으며, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.
여기서, 컨볼루션 프레임렛은 입력신호에 대하여 국소 기저와 비국소 기저를 이용하여 표현하는 방식을 의미할 수 있다.
나아가, 뉴럴 네트워크는 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
단계 S220은 도 3에 도시된 바와 같이, 다방향 엑스레이 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘 예를 들어, FBP 알고리즘을 이용하여 최초 복원 영상들을 획득하고, 영상 도메인의 뉴럴 네트워크를 이용하여 최초 복원 영상들에서 잡음을 제거한 후 잡음이 제거된 최초 복원 영상들을 투영하여 투영 뷰 데이터를 생성하며, 사이노그램 도메인의 뉴럴 네트워크를 이용하여 투영 뷰 데이터로부터 잡음이 제거된 사이노그램 데이터를 획득하고, 잡음이 제거된 사이노그램 데이터를 해석적 알고리즘을 이용하여 다방향 엑스레이 전산단층 촬영 데이터에 대한 고품질의 영상을 복원할 수 있다.
이러한 본 발명에 따른 방법에 대해 도 3 내지 도 5을 참조하여 설명한다.
문제 공식화
희소 뷰(sparse view) CT EDS 시스템에 대한 포워드 모델은 아래 <수학식 1>과 같이 표현될 수 있다.
[수학식 1]
Figure 112019057484574-pat00001
여기서,
Figure 112019057484574-pat00002
은 x-y-z 볼륨 영상에서
Figure 112019057484574-pat00003
도메인 사이노그램(sinogram) 데이터로의 3D 투영 연산자(operator)를 의미하며, s,
Figure 112019057484574-pat00004
, z는 각각 감지기, 투영 각도 및 컨베이어 벨트 이동의 방향을 의미할 수 있고, f는 입력 영상으로 수평면(axial) 영상, 관상면(coronal) 영상과 시상면(sagittal) 영상과 같은 x-y-z 좌표계의 슬라이스 영상을 의미할 수 있다.
좌표 시스템에 대해서 도 3을 참조하여 설명하면, 상기 수학식 1에서
Figure 112019057484574-pat00005
는 측정된 각도 세트인
Figure 112019057484574-pat00006
에 대한 뷰 샘플링 연산자(view sampling operator)를 나타내며,
Figure 112019057484574-pat00007
는 측정된 사이노그램 데이터를 나타낸다. 본 발명은 각각의 투영 뷰 데이터에 대해 기호
Figure 112019057484574-pat00008
와
Figure 112019057484574-pat00009
를 사용하는데, 여기서
Figure 112019057484574-pat00010
는 특정 뷰(또는 시점)를 의미한다.
희소 뷰 CT 복원의 주된 기술적 이슈는 상기 수학식 1에 대한 솔루션의 비-유일성(non-uniqueness)이다. 구체적으로,
Figure 112019057484574-pat00011
가 되도록 영 공간(null space)
Figure 112019057484574-pat00012
가 존재하며, 이는 실현 가능한 솔루션의 무한대의 개수로 귀결한다. 솔루션의 비-유일성을 피하기 위하여, 페널티 있는 MBIR의 제약된 형태는 아래 <수학식 2>와 같이 공식화될 수 있다.
[수학식 2]
Figure 112019057484574-pat00013
여기서, L은 선형 연산자를 의미하며,
Figure 112019057484574-pat00014
는
Figure 112019057484574-pat00015
놈(norm)을 의미할 수 있다.
전체 변이(total variation, TV) 페널티 경우에 있어서, L은 도함수에 대응된다. 그러면, 상기 수학식 2의 유일성은
Figure 112019057484574-pat00016
라면 보장된다. 여기서,
Figure 112019057484574-pat00017
은 연산자 L의 영 공간을 의미할 수 있다.
Figure 112019057484574-pat00018
및
Figure 112019057484574-pat00019
의 공통 영 공간이 0이 되도록 선형 연산자 L을 설계하는 대신, 본 발명은 실측 영상(ground-truth image)인
Figure 112019057484574-pat00020
에 대하여
Figure 112019057484574-pat00021
및
Figure 112019057484574-pat00022
가 되도록 프레임
Figure 112019057484574-pat00023
, 이것의 듀얼 프레임
Figure 112019057484574-pat00024
및 감소(shrinkage) 연산자
Figure 112019057484574-pat00025
를 설계할 수 있다. 이 프레임 기반의 정규화(regularization)는 또한 영상 디노이징(denoising), 인페인팅(inpainting) 등에 대한 활발한 연구 분야로서, 딥 컨볼루션 프레임렛 이론(deep convolutional framelet theory)의 가장 중요한 기여들 중 하나는
Figure 112019057484574-pat00026
와
Figure 112019057484574-pat00027
가 각각 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN)의 인코더 및 디코더 구조와 대응되고, 감소 연산자
Figure 112019057484574-pat00028
는 필터 채널의 개수 및 비선형성을 제어함으로써 나타난다. 더 구체적으로, 컨볼루션 뉴럴 네트워크는
Figure 112019057484574-pat00029
및 아래 <수학식 3>이 되도록 설계한다.
[수학식 3]
Figure 112019057484574-pat00030
즉, 상기 수학식 3은 직접적으로 영 공간 구성요소를 제거하는 것으로, 상기 수학식 3은 뉴럴 네트워크를 트레이닝하기 위해 사용하는 제약 조건(constraint)일 수 있다.
영상 및 투영 도메인 CNNs의 도출(Derivation of Image and Projection Domain CNNs )
본 발명의 희소 뷰 복원 알고리즘은 아래 <수학식 4>와 같이 데이터 충실도(fidelity) 및 소위 프레임 제약 조건을 모두 만족하는 알려지지 않은
Figure 112019057484574-pat00031
를 찾는다.
[수학식 4]
Figure 112019057484574-pat00032
여기서,
Figure 112019057484574-pat00033
는 상기 수학식 3을 만족하는 영상 도메인 CNN을 의미하고,
Figure 112019057484574-pat00034
는 트레이닝 데이터에 이용 가능한 실측 영상들을 의미할 수 있다.
예를 들어, 본 발명은
Figure 112019057484574-pat00035
와 같이,
Figure 112019057484574-pat00036
을
Figure 112019057484574-pat00037
의 우역행렬로 정의함으로써, 일부
Figure 112019057484574-pat00038
의 대해서만
Figure 112019057484574-pat00039
를 가지는데, 이는 우역행렬이 영 공간의 존재 때문에 유일하지 않기 때문이다. 그러므로, 본 발명은 트레이닝 데이터에 대한 아래 <수학식 5>와 아래 <수학식 6>이기 때문에
Figure 112019057484574-pat00040
가 상기 수학식 4에 대한 실현 가능한 솔루션이라는 것을 알 수 있다.
[수학식 5]
Figure 112019057484574-pat00041
[수학식 6]
Figure 112019057484574-pat00042
따라서, 상기 수학식 4를 만족시키는 뉴럴 네트워크 트레이닝 문제는 아래 <수학식 7>과 같이 등가로 표현될 수 있다.
[수학식 7]
Figure 112019057484574-pat00043
여기서
Figure 112019057484574-pat00044
는 실측 영상과 희소 뷰 투영으로 구성된 트레이닝 데이터 세트를 의미할 수 있다.
희소 뷰 투영에 대해 표현된 우역행렬은 누락 뷰에 대한 제로 패딩 이후의 역 라돈 변환(inverse Radon transform)이기 때문에, 상기 수학식 7에서의
Figure 112019057484574-pat00045
는 표준 FBP 알고리즘을 사용하여 구현될 수 있다. 실제로, 이것은 실측 데이터(ground-truth data)가 이용 가능할 때 영상 도메인 CNN의 성공에 대한 주된 이론적 토대이다. 게다가, 팬 빔 리비닝(fan beam rebinning)은 문제를 각 z 슬라이스와 분리 가능하게 만들고, 따라서 도 3에 도시된 바와 같이 각 슬라이스에 대해 2D FBP를 사용할 수 있다.
그러나, 9-뷰 CT EDS 시스템에서 주된 기술적 어려움들은 실측 영상인
Figure 112019057484574-pat00046
를 갖지 않는다는 점이다. 하나는 실측 영상의 세트를 형성하기 위하여 물리적인 팬텀(physical phantoms) 및 원자 번호를 사용할 수 있으나, 이 데이터 세트는 실제 휴대용 가방들과는 다를 수 있기 때문에 뉴럴 네트워크 트레이닝을 위한 실측의 부족함을 설명하는 새로운 방법이 필요하다. 그러므로, 실측 데이터의 부족함을 극복하기 위하여, 근사 라벨 영상들이 TV 페널티를 갖는 MBIR을 사용하여 생성된다. 그러면, MBIR 복원을 라벨 데이터
Figure 112019057484574-pat00047
로 사용하여, 2D 영상 도메인 네트워크
Figure 112019057484574-pat00048
는 x-y 도메인에서 아티팩트로 손상된 2D 영상과 MBIR 복원 간의 매핑을 학습하기 위하여 트레이닝될 수 있다. 즉, 2D 영상 도메인 네트워크
Figure 112019057484574-pat00049
는 트레이닝을 통해 영상 도메인에서 아티팩트 예를 들어, 선형 아티팩트로 손상된 영상과 MBIR 복원 간의 매핑에 대한 학습 모델을 생성하고, 생성된 학습 모델을 이용하여 잡음이 제거된 영상을 제공할 수 있다.
이 방식의 한 단점은 라벨 데이터가 실측 영상이 아니기 때문에, 상기 수학식 7에 의한 네트워크 트레이닝이 더 이상 최적화되지 않는다는 점이다. 그러므로, 잡음이 제거된 3D 볼륨(denoised 3D volume)으로부터 생성된 사이노그램 데이터는 바이어스될 수 있다. 이에 본 발명은 상기 수학식 4에 더하여 사이노그램 데이터에 대한 부가적인 프레임 제약 조건을 부가할 수 있으며, 아래 <수학식 8>과 같이 나타낼 수 있다.
[수학식 8]
Figure 112019057484574-pat00050
여기서,
Figure 112019057484574-pat00051
는 s-z 사이노그램 도메인 CNN을 의미하고,
Figure 112019057484574-pat00052
는 측정된 각도
Figure 112019057484574-pat00053
에서 측정된 실측 사이노그램 데이터를 의미할 수 있다. 즉, 상기 수학식 8은 측정된 각도
Figure 112019057484574-pat00054
에 대한 수학식을 의미한다. 이러한 수학식 8은 아래 <수학식 9>와 같은 네트워크 트레이닝에 이르게 한다.
[수학식 9]
Figure 112019057484574-pat00055
구체적으로, 도 3에 도시된 바와 같이, x-y-z도메인에서 3D 복원 볼륨을 형성하기 위하여 다수의 슬라이스들 위로 영상 도메인 네트워크 출력을 스태킹(stacking) 후에 720개의 투영 뷰들을 따라서 포워드 투영 연산자(forward projection operator)를 적용함으로써, 3D 사이노그램 데이터는
Figure 112019057484574-pat00056
도메인 내에 생성된다. 다음으로, 2D 사이노그램 도메인 네트워크
Figure 112019057484574-pat00057
는 합성 s-z 사이노그램 데이터와 s-z 도메인 내 실제 투영 데이터 간의 매핑을 학습할 수 있도록 트레이닝된다. 즉, 2D 사이노그램 도메인 네트워크
Figure 112019057484574-pat00058
는 트레이닝을 통해 사이노그램 데이터와 사이노그램 도메인 내 투영 데이터 간의 매핑에 대한 학습 모델을 생성하고, 생성된 학습 모델을 이용하여 잡음이 제거된 사이노그램 데이터를 제공할 수 있다. 실제 투영 데이터는 오직 9개 뷰에서만 이용 가능하기 때문에, 이 사이노그램 네트워크 트레이닝은 측정된 투영 시점에서 합성 및 실제 투영 데이터를 사용하여 수행된다. 최적화 문제인 상기 수학식 7 및 상기 수학식 9는 순차적으로 또는 동시에 해결될 수 있으며, 본 발명에서는 순차적인 최적화 방식을 이용할 수 있다.
뉴럴 네트워크인
Figure 112019057484574-pat00059
와
Figure 112019057484574-pat00060
가 트레이닝된 이후에, 추론은 슬라이스 별(slice-by-slice) FBP 알고리즘에 의한 9개 뷰의 투영 데이터로부터 x-y-z 볼륨 영상들을 획득함으로써 간단히 수행될 수 있고, 이후 잡음이 제거된 3D 볼륨 데이터를 얻기 위하여
Figure 112019057484574-pat00061
로 입력된다. 그리고, 투영 연산자를 적용함으로써,
Figure 112019057484574-pat00062
도메인 상의 720개의 투영 뷰 데이터를 생성하며, 각각의
Figure 112019057484574-pat00063
각도에 대해 잡음이 제거된 사이노그램 데이터를 얻기 위하여
Figure 112019057484574-pat00064
로 입력된다. 최종 복원은 FBP 알고리즘을 적용함으로써 획득될 수 있다. 또한, 본 발명은 추가적인 TV 기반 디노이징을 사용하는 전처리를 사용한다.
이와 같이, 본 발명의 실시예에 따른 방법은 도 3에 도시된 바와 같이 획득된 일정 개수 예를 들어, 9개의 투영 데이터에 대해 해석적 복원방법 예를 들어, FBP 알고리즘을 이용하여 복원된 영상을 영상 도메인 뉴럴 네트워크를 통과시킴으로써, 투영 도메인이 충분히 보간(interpolation)된 영상을 획득하고, 이렇게 일차적으로 보간된 영상 데이터는 투영 연산자를 이용하여 투영 도메인으로 전달된다. 이 때, 투영 데이터는 9개를 생성하는 것이 아니라, 해석적 복원 방법으로도 충분히 복원할 수 있을 정도 예를 들어, 720개의 투영 데이터로 확장되며, 충분한 수로 획득된 투영 데이터가 사이노그램 도메인 뉴럴 네트워크를 통과하여 품질이 개선된 투영 데이터가 획득되고, 획득된 품질이 개선된 투영 데이터는 FBP 알고리즘을 통해서 최종 영상으로 복원될 수 있다.
실제 CT EDS 데이터 습득
본 발명은 도 1에 도시된 바와 같이, 고정형 9 뷰 듀얼 에너지 CT-EDS 시스템 예를 들어, GEMSS 메디컬 시스템의 고정형 9 뷰 듀얼 에너지 CT-EDS 시스템을 사용하여 CT EDS 데이터를 수집할 수 있다. 소스와 감지기 간의 거리(Distance from Source to Detector, DSD) 및 소스와 객체 간의 거리(Distance from Source to Object, DSO)는 각각 1202.6mm와 648.2mm일 수 있다. 감지기의 개수는 384개이며, 1.5mm의 피치(pitch)를 가지고, 관심영역(region of interest, ROI)은 256 × 256이며, 픽셀 크기는 2mm2이다. 감지기들은 80KVp 및 120KVp에서 각각 저 에너지, 고 에너지 엑스레이를 수집한다.
본 발명은 CT EDS 수화물 스캐너로부터 47개 세트의 투영 데이터를 수집하고, 47개의 세트 중에서 32개의 데이터 세트는 단순 객체들이며 다른 세트들은 현실적인 휴대용 가방들이다. 28개의 단순 객체 및 13개의 수화물 객체로 된 47개의 세트는 트레이닝 단계에서 사용되며, 검증은 두 개의 단순 객체 및 하나의 수화물 객체를 통해 수행될 수 있다.
네트워크 구조 및 트레이닝
도 4는 영상 도메인 및 사이노그램 도메인 네트워크에 대한 변형된 U-Net 구조를 나타낸 것으로, 도 4에 도시된 바와 같이 다수 에너지 영상 및 사이노그램 데이터를 설명하기 위하여, 네트워크에 대한 입력은 두 가지 채널의 다수 에너지 영상 및 사이노그램 데이터이다.
본 발명의 네트워크는 선형 변환(linear transform) 연산을 수행하는 컨볼루션 레이어, 정규화(normalization) 연산을 수행하는 배치 노말라이제이션(batch normalization) 레이어, 비선형 함수(nonlinear function) 연산을 수행하는 ReLU(rectified linear unit) 레이어 및 연쇄를 가진 경로 연결(contracting path connection with concatenation)을 포함한다. 특히, 각 스테이지는 3 × 3 커널들을 갖는 컨볼루션, 배치 노말라이제이션 및 ReLU 레이어들로 구성된 4개의 순차적인 레이어들을 포함한다. 마지막 스테이지는 두 개의 순차적인 레이어들과 마지막 레이어를 포함하며, 마지막 레이어는 1 × 1 커널을 갖는 컨볼루션만을 포함한다. 각 컨볼루션 레이어에 대한 채널 수는 도 4에 도시되어 있으며, 각 풀링 레이어 후에 채널 수는 두 배가 된다.
본 발명의 네트워크는 확률적 경사 하강법(stochastic gradient descent, SGC)에 의해 트레이닝될 수 있다. 정규화 파라미터(regularization parameter)는
Figure 112019057484574-pat00065
이며, 학습 레이트(learning rate)는 10-3에서 10-5까지 설정될 수 있고, 이는 각 에포크(epoch) 내에서 단계적으로 감소될 수 있다. 에포크의 수는 200개이고, 배치 크기는 12이며, 영상 및 투영 데이터에 대한 패치 크기는 각각 256 × 256 × 2 및 768 ×384 ×2일 수 있다. 네트워크는 MATLAB2015a 환경에서 MatConvNet toolbox를 사용하여 구현될 수 있다.
도 4에 도시된 바와 같이, 본 발명에서의 U-Net은 평균 풀링 레이어와 평균 언풀링 레이어를 비국소 기저로 이용 또한 점선으로 표현된 바이패스 연결 레이어(bypass connection layer)를 통해 입력부의 신호를 출력부로 전달해주는 역할을 한다. U-Net은 저해상도 신호에 재귀적으로 적용되는데, 여기서, 입력은 국소 컨볼루션 필터로 필터링되고, 풀링 연산을 사용하여 절반 크기의 근사 신호로 감소될 수 있으며, 바이패스 연결은 풀링 중에 손실된 고주파를 보상할 수 있다.
도 5는 본 발명에 따른 방법과 기존 방법들에 대한 영상 복원 결과를 비교한 일 예시도를 나타낸 것으로, 본 발명에 따른 방법(ours)과 해석적 복원기법(FBP), 반복적 복원기법(MBIR), 그리고 영상 도메인 뉴럴 네트워크(Image CNN)의 영상 복원 결과를 비교한 것이다.
도 5에 도시된 바와 같이, FBP 복원 결과는 심각한 선형 아티팩트로 인하여 단층 재구성과 3D 렌더링에서 내부의 어떠한 구조적 형태를 파악하는 것이 불가능하다. MBIR 복원 결과는 내부의 구조적 형태의 파악은 가능하지만, 객체의 경계부가 뭉개지거나 약한 대비를 갖는 객체가 사라져 복원이 되지 않는 문제를 보였으며, 영상 도메인 CNN은 MBIR보다 복원 영상의 질은 좋지만 상세한 가방의 프레임이나 지퍼가 복원되지 않은 것을 알 수 있다. 즉, MBIR과 영상 도메인 CNN은 FBP에 비해 복원 영상의 질이 조금 좋아졌지만, 상세한 3D 구조는 완전히 복구되지 않았으며, 도 5의 빨간색 화살표에 의해 표시된 것과 같은 여러 객체가 검출되지 않은 것을 알 수 있다. 반면, 본 발명에 따른 방법은 3D 렌더링 결과를 통해 알 수 있듯이, 수류탄(grenade)와 칼(knife)의 모양 뿐만 아니라 기존 방법들에 의해 불가능한 가방의 프레임까지 정확하게 식별하는 것을 알 수 있다. 즉, 본 발명에 따른 방법은 영상의 해상도도 좋을 뿐만 아니라 가방의 프레임은 물론 지퍼와 같은 상세한 요서까지도 복원되는 것을 알 수 있다.
본 발명은 영상 도메인에서 실측 영상을 가지고 있지 않기 때문에 사이노그램 도메인에서 정규화된 평균 제곱 오류(normalized mean squares error, NMSE)를 이용하여 정량적 평가를 수행할 수 있다. 구체적으로, 본 발명은 최종 복원을 획득한 후 측정된 투영 뷰에서 사이노그램 데이터를 생성하기 위하여 포워드 투영을 수행하고, NMSE를 계산한다.
이와 같이 본 발명에 따른 방법은 영상 도메인과 사이노그램 도메인 각각에서 학습된 뉴럴 네트워크를 이용하여 다방향 엑스레이 전산단층 촬영 영상을 고품질의 영상으로 복원할 수 있다.
또한, 본 발명에 따른 방법은 반복적 복원 기법을 이용하여 영상복원을 수행하던 어플리케이션을 뉴럴 네트워크를 이용하여 영상복원이 가능하기 때문에 기존에 반복적 복원기법을 통해 영상복원을 수행하던 다양한 어플리케이션을 대체할 수 있다. 예를 들어, 본 발명은 수하물 검색 장비(baggage scanner) 뿐만 아니라 의료용 전산단층 촬영(Computed Tomography, CT) 장비에도 적용할 수 있다.
이는 수하물 검색 장비와 마찬가지로 의료용 전산단층 촬영 장비 또한 동일한 수학적 모델 기반의 장비이기 때문에 본 발명을 적용할 수 있으며, 이를 통해 종래 기술에서 나타난 한계를 극복할 수 있다.
또한, 본 발명에 따른 방법은 뉴럴 네트워크를 이용하여 다방향 엑스레이 전산단층 촬영 영상을 복원함으로써, 복원 속도 뿐만 아니라 복원 성능을 향상시킬 수 있다. 즉, 반복적 복원 기법을 이용한 영상복원기법의 경우 오랜 복원 시간에 비하여 그 복원 성능이 떨어지지만, 본 발명은 뉴럴 네트워크를 이용하여 영상을 복원함으로써, 복원 속도 뿐만 아니라 복원 성능을 향상시킬 수 있다.
나아가, 본 발명에 따른 방법은 영상 도메인 뉴럴 네트워크와 사이노그램 뉴럴 네트워크에 의해 최종 복원된 영상을 다시 영상 도메인 뉴럴 네트워크의 라벨 데이터로 이용함으로써, 영상 도메인 뉴럴 네트워크와 사이노그램 뉴럴 네트워크만을 이용한 영상 복원보다 더 빠른 영상 복원을 수행할 수 있다.
더 나아가, 본 발명에 따른 방법은 다방향 엑스레이 전산단층 촬영 영상을 복원하는 것으로 한정하지 않으며, 영상 도메인과 사이노그램 도메인을 포함하는 영상 데이터 예를 들어, 전산단층 촬영 데이터로부터 고해상도의 전산단층 영상을 복원할 수 있는 모든 종류의 영상 데이터에 적용할 수 있다.
예를 들어, 본 발명의 다른 일 실시예에 따른 방법은 전산단층 촬영 데이터를 수신하고, 영상 도메인과 사이노그램 도메인에서 학습된 뉴럴 네트워크를 이용하여 전산단층 촬영 데이터에 대한 영상을 복원할 수 있다. 물론, 뉴럴 네트워크를 이용하여 전산단층 촬영 데이터에 대한 영상을 복원하는 구체적인 과정은 다방향 엑스레이 전산단층 촬영 영상을 고품질의 영상으로 복원하는 과정을 적용할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 구성을 나타낸 것으로, 도 2 내지 도 5의 방법을 수행하는 장치에 대한 구성을 나타낸 것이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 장치(600)는 수신부(610) 및 복원부(620)를 포함한다.
수신부(610)는 미리 설정된 개수의 다방향 엑스레이 전산단층 촬영 데이터를 수신한다.
여기서, 수신부(610)는 9-뷰 엑스레이 전산단층 촬영 데이터를 수신할 수 있다.
복원부(620)는 영상 도메인(image domain)과 사이노그램 도메인(sinogram domain)에서 학습된 뉴럴 네트워크를 이용하여 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원한다.
이 때, 복원부(620)는 다방향 엑스레이 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘을 이용하여 최초 복원 영상들을 획득하고, 상기 영상 도메인의 뉴럴 네트워크를 이용하여 상기 최초 복원 영상들에서 잡음을 제거하며, 상기 잡음이 제거된 최초 복원 영상들을 투영하여 투영 뷰 데이터를 생성하고, 상기 사이노그램 도메인의 뉴럴 네트워크를 이용하여 상기 투영 뷰 데이터로부터 잡음이 제거된 사이노그램 데이터를 획득하며, 상기 잡음이 제거된 사이노그램 데이터를 상기 해석적 알고리즘을 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원할 수 있다.
복원부(620)에서 사용하는 영상 도메인의 뉴럴 네트워크는 영상 도메인에서 미리 설정된 아티팩트로 손상된 영상과 모델 기반 반복적 복원기법(model-based iterative reconstruction, MBIR) 복원 간의 매핑에 대한 학습 모델을 이용하여 상기 최초 복원 영상들에서 잡음을 제거할 수 있다.
또한, 복원부(620)에서 사용하는 사이노그램 도메인의 뉴럴 네트워크는 사이노그램 데이터와 사이노그램 도메인 내 투영 데이터 간의 매핑에 대한 학습 모델을 이용하여 상기 투영 뷰 데이터로부터 잡음이 제거된 사이노그램 데이터를 제공할 수 있다.
나아가, 복원부(620)는 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함하는 해석적 알고리즘을 이용하여 영상을 복원할 수 있다.
뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있으며, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.
나아가, 뉴럴 네트워크는 풀링 레이어에서 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.
이러한 본 발명의 영상 처리 장치(600)는 고정형 CT EDS 시스템에 적용될 수 있다.
비록, 도 6의 장치에서 그 설명이 생략되었더라도, 도 6을 구성하는 각 구성 수단은 도 2 내지 도 5에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (21)

  1. 미리 설정된 개수의 다방향 엑스레이 전산단층 촬영 데이터를 수신하는 단계; 및
    영상 도메인(image domain)과 사이노그램 도메인(sinogram domain)에서 학습된 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 영상을 복원하는 단계는
    상기 다방향 엑스레이 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘을 이용하여 최초 복원 영상들을 획득하는 단계;
    상기 영상 도메인의 뉴럴 네트워크를 이용하여 상기 최초 복원 영상들에서 잡음을 제거하는 단계;
    상기 잡음이 제거된 최초 복원 영상들을 투영하여 투영 뷰 데이터를 생성하는 단계;
    상기 사이노그램 도메인의 뉴럴 네트워크를 이용하여 상기 투영 뷰 데이터로부터 잡음이 제거된 사이노그램 데이터를 획득하는 단계; 및
    상기 잡음이 제거된 사이노그램 데이터를 상기 해석적 알고리즘을 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 처리 방법.
  3. 제2항에 있어서,
    상기 영상 도메인의 뉴럴 네트워크는
    영상 도메인에서 미리 설정된 아티팩트로 손상된 영상과 모델 기반 반복적 복원기법(model-based iterative reconstruction, MBIR) 복원 간의 매핑에 대한 학습 모델을 이용하여 상기 최초 복원 영상들에서 잡음을 제거하는 것을 특징으로 하는 영상 처리 방법.
  4. 제2항에 있어서,
    상기 사이노그램 도메인의 뉴럴 네트워크는
    사이노그램 데이터와 사이노그램 도메인 내 투영 데이터 간의 매핑에 대한 학습 모델을 이용하여 상기 투영 뷰 데이터로부터 잡음이 제거된 사이노그램 데이터를 제공하는 것을 특징으로 하는 영상 처리 방법.
  5. 제1항에 있어서,
    상기 영상을 복원하는 단계는
    FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함하는 해석적 알고리즘을 이용하여 상기 영상을 복원하는 것을 특징으로 하는 영상 처리 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 뉴럴 네트워크는
    풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
  8. 제7항에 있어서,
    상기 뉴럴 네트워크는
    상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함하는 것을 특징으로 하는 영상 처리 방법.
  9. 제1항에 있어서,
    상기 영상을 복원하는 단계는
    상기 영상 도메인의 뉴럴 네트워크와 상기 사이노그램 도메인의 뉴럴 네트워크를 이용하여 복원된 영상을 상기 영상 도메인의 뉴럴 네트워크의 라벨 데이터로 이용함으로써, 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 것을 특징으로 하는 영상 처리 방법.
  10. 미리 설정된 개수의 다방향 엑스레이 전산단층 촬영 데이터를 수신하는 단계; 및
    영상 도메인(image domain)에서 학습된 제1 학습 모델에 대한 컨볼루션 프레임렛(convolution framelet) 기반의 제1 뉴럴 네트워크와 사이노그램 도메인(sinogram domain)에서 학습된 제2 학습 모델에 대한 상기 컨볼루션 프레임렛(convolution framelet) 기반의 제2 뉴럴 네트워크 및 미리 설정된 해석적 알고리즘을 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 단계
    를 포함하는 영상 처리 방법.
  11. 제10항에 있어서,
    상기 영상을 복원하는 단계는
    상기 다방향 엑스레이 전산단층 촬영 데이터를 상기 해석적 알고리즘을 이용하여 최초 복원 영상들을 획득하는 단계;
    상기 제1 뉴럴 네트워크를 이용하여 상기 최초 복원 영상들에서 잡음을 제거하는 단계;
    상기 잡음이 제거된 최초 복원 영상들을 투영하여 투영 뷰 데이터를 생성하는 단계;
    상기 제2 뉴럴 네트워크를 이용하여 상기 투영 뷰 데이터로부터 잡음이 제거된 사이노그램 데이터를 획득하는 단계; 및
    상기 잡음이 제거된 사이노그램 데이터를 상기 해석적 알고리즘을 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 처리 방법.
  12. 미리 설정된 개수의 다방향 엑스레이 전산단층 촬영 데이터를 수신하는 수신부; 및
    영상 도메인(image domain)과 사이노그램 도메인(sinogram domain)에서 학습된 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 복원부
    를 포함하는 영상 처리 장치.
  13. 제12항에 있어서,
    상기 복원부는
    상기 다방향 엑스레이 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘을 이용하여 최초 복원 영상들을 획득하고, 상기 영상 도메인의 뉴럴 네트워크를 이용하여 상기 최초 복원 영상들에서 잡음을 제거하며, 상기 잡음이 제거된 최초 복원 영상들을 투영하여 투영 뷰 데이터를 생성하고, 상기 사이노그램 도메인의 뉴럴 네트워크를 이용하여 상기 투영 뷰 데이터로부터 잡음이 제거된 사이노그램 데이터를 획득하며, 상기 잡음이 제거된 사이노그램 데이터를 상기 해석적 알고리즘을 이용하여 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 것을 특징으로 하는 영상 처리 장치.
  14. 제13항에 있어서,
    상기 영상 도메인의 뉴럴 네트워크는
    영상 도메인에서 미리 설정된 아티팩트로 손상된 영상과 모델 기반 반복적 복원기법(model-based iterative reconstruction, MBIR) 복원 간의 매핑에 대한 학습 모델을 이용하여 상기 최초 복원 영상들에서 잡음을 제거하는 것을 특징으로 하는 영상 처리 장치.
  15. 제13항에 있어서,
    상기 사이노그램 도메인의 뉴럴 네트워크는
    사이노그램 데이터와 사이노그램 도메인 내 투영 데이터 간의 매핑에 대한 학습 모델을 이용하여 상기 투영 뷰 데이터로부터 잡음이 제거된 사이노그램 데이터를 제공하는 것을 특징으로 하는 영상 처리 장치.
  16. 제12항에 있어서,
    상기 복원부는
    FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함하는 해석적 알고리즘을 이용하여 상기 영상을 복원하는 것을 특징으로 하는 영상 처리 장치.
  17. 삭제
  18. 제12항에 있어서,
    상기 뉴럴 네트워크는
    풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.
  19. 제18항에 있어서,
    상기 뉴럴 네트워크는
    상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함하는 것을 특징으로 하는 영상 처리 장치.
  20. 제12항에 있어서,
    상기 복원부는
    상기 영상 도메인의 뉴럴 네트워크와 상기 사이노그램 도메인의 뉴럴 네트워크를 이용하여 복원된 영상을 상기 영상 도메인의 뉴럴 네트워크의 라벨 데이터로 이용함으로써, 상기 다방향 엑스레이 전산단층 촬영 데이터에 대한 영상을 복원하는 것을 특징으로 하는 영상 처리 장치.
  21. 전산단층 촬영 데이터를 수신하는 단계; 및
    영상 도메인(image domain)과 사이노그램 도메인(sinogram domain)에서 학습된 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 이용하여 상기 전산단층 촬영 데이터에 대한 영상을 복원하는 단계
    를 포함하는 영상 처리 방법.
KR1020190066175A 2018-06-04 2019-06-04 뉴럴 네트워크를 이용한 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치 KR102174600B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180064077 2018-06-04
KR20180064077 2018-06-04

Publications (2)

Publication Number Publication Date
KR20190138292A KR20190138292A (ko) 2019-12-12
KR102174600B1 true KR102174600B1 (ko) 2020-11-05

Family

ID=69004209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190066175A KR102174600B1 (ko) 2018-06-04 2019-06-04 뉴럴 네트워크를 이용한 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치

Country Status (2)

Country Link
US (1) US10977842B2 (ko)
KR (1) KR102174600B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037030B1 (en) * 2018-10-29 2021-06-15 Hrl Laboratories, Llc System and method for direct learning from raw tomographic data
JP7250331B2 (ja) * 2019-07-05 2023-04-03 株式会社イシダ 画像生成装置、検査装置及び学習装置
US11100684B2 (en) * 2019-07-11 2021-08-24 Canon Medical Systems Corporation Apparatus and method for artifact detection and correction using deep learning
US11120582B2 (en) * 2019-07-31 2021-09-14 Z2Sky Technologies Inc. Unified dual-domain network for medical image formation, recovery, and analysis
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks
US10783401B1 (en) * 2020-02-23 2020-09-22 Fudan University Black-box adversarial attacks on videos
WO2022032445A1 (zh) * 2020-08-10 2022-02-17 深圳高性能医疗器械国家研究院有限公司 一种重建神经网络及其应用
CN112053412B (zh) * 2020-08-31 2022-04-29 浙江大学 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法
CN112381741B (zh) * 2020-11-24 2021-07-16 佛山读图科技有限公司 基于spect数据采样与噪声特性的断层图像重建方法
US11890124B2 (en) 2021-02-01 2024-02-06 Medtronic Navigation, Inc. Systems and methods for low-dose AI-based imaging
WO2022220721A1 (en) * 2021-04-13 2022-10-20 Prismatic Sensors Ab Determining a confidence indication for deep-learning image reconstruction in computed tomography
CN113420438A (zh) * 2021-06-22 2021-09-21 天津大学 基于x射线正弦图的增材器件内部结构几何参数测量方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610142B1 (ko) * 2014-09-01 2016-04-11 연세대학교 산학협력단 컴퓨터 단층촬영 장치 및 방법
US20180018757A1 (en) * 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
US10751548B2 (en) * 2017-07-28 2020-08-25 Elekta, Inc. Automated image segmentation using DCNN such as for radiation therapy
WO2019128660A1 (zh) * 2017-12-29 2019-07-04 清华大学 训练神经网络的方法和设备、图像处理方法和设备以及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Ghani, Muhammad Usman ET AL:"Deep Learning Based Sinogram Correction for Metal Artifact Reduction", International Symposium on Electronic Imaging, Computational Imaging XVI, Jan. 2018(2018.01.01.) 1부.*
Ji He ET AL:"LdCT-Net: low-dose CT image reconstruction strategy driven by a deep dual network", Proceedings of SPIE, Volume 10573, Medical Imaging 2018: Physics of Medical Imaging, 2018(2018.3.9.) 1부*
Tobias Wurfl ET AL:"Deep Learning Computed Tomography:Learning Projection-Domain Weights From Image Domain in Limited Angle Problems", IEEE Transactions on Medical Imaging, 7 May 2018(2018.05.07.) 1부.*
Yo Seob Han ET AL:"Deep Residual Learning for Compressed Sensing CT Reconstruction via Persistent Homology Analysis", Computer Vision and Pattern Recognition (cs.CV), 19 Nov. 2016(2016.11.19.) 1부.*
Yoseob Han ET AL:"Framing U-Net via Deep Convolutional Framelets: Application to Sparse-view CT", Computer Vision and Pattern Recognition (cs.CV) arXiv:1708.08333v3, 28 Mar 2018(2018.3.28.) 1부.*

Also Published As

Publication number Publication date
KR20190138292A (ko) 2019-12-12
US20200027252A1 (en) 2020-01-23
US10977842B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
KR102174600B1 (ko) 뉴럴 네트워크를 이용한 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치
CN110047113B (zh) 神经网络训练方法和设备、图像处理方法和设备和存储介质
Anirudh et al. Lose the views: Limited angle CT reconstruction via implicit sinogram completion
US11769277B2 (en) Deep learning based scatter correction
CN110544282B (zh) 基于神经网络的三维多能谱ct重建方法和设备及存储介质
Ehrhardt et al. Joint reconstruction of PET-MRI by exploiting structural similarity
US8971599B2 (en) Tomographic iterative reconstruction
JP2020516345A (ja) 深層学習に基づくトモグラフィ再構成
Zheng et al. A dual-domain deep learning-based reconstruction method for fully 3D sparse data helical CT
EP3447731A1 (en) A method of generating an enhanced tomographic image of an object
JP6505513B2 (ja) Ｘ線コンピュータ断層撮像装置及び医用画像処理装置
US20230252607A1 (en) 3d-cnn processing for ct image noise removal
Bubba et al. Shearlet-based regularization in sparse dynamic tomography
Gao Fused analytical and iterative reconstruction (AIR) via modified proximal forward–backward splitting: a FDK-based iterative image reconstruction example for CBCT
Banjak X-ray computed tomography reconstruction on non-standard trajectories for robotized inspection
Han et al. Deep learning reconstruction for 9-view dual energy CT baggage scanner
Valiollahzadeh et al. Dictionary learning for data recovery in positron emission tomography
Hou et al. Analysis of compressed sensing based CT reconstruction with low radiation
KR101493683B1 (ko) 콘-빔 기반 반응선 재구성을 이용한 초고해상도 ｐｅｔ 영상 재구성 장치 및 그 방법
CN104992457A (zh) Ct图像重建方法和系统
Li et al. Robust frame based X-ray CT reconstruction
US9558569B2 (en) Method and system for substantially reducing cone beam artifacts based upon image domain differentiation in circular computer tomography (CT)
Wang et al. A framelet-based iterative maximum-likelihood reconstruction algorithm for spectral CT
Jia et al. Superiorization-inspired unrolled SART algorithm with U-Net generated perturbations for sparse-view and limited-angle CT reconstruction
Dong et al. Prior image constrained low-rank matrix decomposition method in limited-angle reverse helical cone-beam CT

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right