KR20200044222A - 뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치 - Google Patents

뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치 Download PDF

Info

Publication number
KR20200044222A
KR20200044222A KR1020180121769A KR20180121769A KR20200044222A KR 20200044222 A KR20200044222 A KR 20200044222A KR 1020180121769 A KR1020180121769 A KR 1020180121769A KR 20180121769 A KR20180121769 A KR 20180121769A KR 20200044222 A KR20200044222 A KR 20200044222A
Authority
KR
South Korea
Prior art keywords
dose
computed tomography
image
ray computed
neural network
Prior art date
Application number
KR1020180121769A
Other languages
English (en)
Other versions
KR102220029B1 (ko
KR102220029B9 (ko
Inventor
예종철
강은희
양동현
서준범
구현정
Original Assignee
한국과학기술원
울산대학교 산학협력단
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 울산대학교 산학협력단, 재단법인 아산사회복지재단 filed Critical 한국과학기술원
Priority to KR1020180121769A priority Critical patent/KR102220029B1/ko
Priority to US16/409,541 priority patent/US11037336B2/en
Publication of KR20200044222A publication Critical patent/KR20200044222A/ko
Application granted granted Critical
Publication of KR102220029B1 publication Critical patent/KR102220029B1/ko
Publication of KR102220029B9 publication Critical patent/KR102220029B9/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0454
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/412Dynamic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 처리 방법은 저 선량 엑스선 전산단층(CT) 영상을 수신하는 단계; 및 비매칭 데이터를 이용하여 학습된 준지도 학습(semi-supervised learning) 기반의 뉴럴 네트워크를 이용하여 상기 저 선량 엑스선 전산단층 영상으로부터 노이즈를 제거함으로써, 상기 저 선량 엑스선 전산단층 영상에 대응하는 일반(routine) 선량 엑스선 전산단층 영상으로 복원하는 단계를 포함한다.

Description

뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치{METHOD FOR PROCESSING UNMATCHED LOW DOSE X-RAY COMPUTED TOMOGRAPHY IMAGE USING ARTIFICIAL NEURAL NETWORK AND APPARATUS THEREFOR}
본 발명은 뉴럴 네트워크를 이용한 영상 처리 방법 및 그 장치에 관한 것으로, 보다 구체적으로는 노이즈가 포함된 저 선량 엑스선 전산단층 촬영 영상을 비매칭 데이터를 이용하여 학습된 준지도 학습 기반의 뉴럴 네트워크를 이용하여 노이즈가 제거된 고화질의 영상으로 복원할 수 있는 방법 및 그 장치에 관한 것이다.
전산화 단층촬영 기법(Computed Tomography; CT)은 진단하는데 쓰이는 대표적인 영상촬영 기법으로, 다양한 상황에 응용되어 사용되고 있다. 예를 들면 심장의 관상동맥 혈관 CT 촬영(cardiac coronary CT angiography; cardiac coronary CTA)의 경우, 조영제(contrast agent)를 투여한 후 촬영하여, 관상동맥의 석회화된 정도를 보거나 관상동맥이 협착된 정도를 진단하고 사용된다. 이러한 경우 엑스선(X-ray)을 이용하여 촬영하기 때문에 방사선에 노출되어 암의 발병 확률이 높아진다는 단점이 있다.
관상 동맥 CTA에서 방사선 노출의 위험을 감소시키기 위해, 도 1에 도시된 바와 같이 심장 박동 주기에 맞춰서 엑스선 튜브(X-ray tube) 전류를 조절하며 촬영하는 방식으로 전체 엑스선 조사량을 감소시킬 수는 있지만, 서로 다른 심장 위상에서 CT 영상에 서로 다른 노이즈 레벨 및 명암을 만든다. 특히, 저선량 위상의 투영 데이터에 노이즈가 발생하여 재구성 영상 품질이 저하된다. 이러한 문제를 해결하기 위한 종래 일 실시예 기술로, 반복적 복원 기법(iterative reconstruction method) 예를 들어, 모델 기반 반복적 복원 기법(MBIR; model based iterative reconstruction method)을 적용하여 깨끗한 영상을 얻고 있다. 하지만 이 기법의 경우, 투영(projection) 연산과 역투영(back-projection) 연산을 반복적으로 수행해야 하므로 계산량이 많아 복원속도가 오래 걸리는 단점이 있다.
현재 많이 연구되는 딥 러닝 기반의 방법들의 경우 반복적 복원 기법보다 획기적으로 빠르며 그 성능 또한 반복적 복원기법보다 우수하다는 장점이 있다. 딥 러닝 기반의 방법들은 대부분 입력 값인 저 선량 CT 영상과 목표 값인 정상 선량 CT 영상이 잡음을 제외한 위치와 값들이 일치해야 네트워크 학습이 가능한 지도 학습(supervised learning)을 통해 잡음을 제거하고 있다.
최근의 딥 러닝 방법은 저선량 CT 및 희소 뷰 CT에 대한 기존의 반복적인 복원 기법보다 획기적으로 빠르며 그 성능 또한 반복적 복원기법보다 우수하다는 장점이 있다. MBIR 방법에 비해 딥 러닝 방법의 주요 이점은 네트워크가 손으로 튜닝된(hand-tuned) 정규화를 사용하는 것이 아니라 완전히 데이터 중심 방식으로 영상 통계를 학습한다는 점이다. 이러한 방법이 일반적으로 트레이닝에 시간이 소요되는 반면, 네트워크가 트레이닝되면 실시간 재구성이 가능하므로 알고리즘을 임상 환경에서 매우 실용적으로 만들 수 있다. 딥 러닝 기반의 방법들은 대부분 입력 값인 저 선량 CT 영상과 목표 값인 정상(또는 일반) 선량 CT 영상이 노이즈를 제외한 위치와 값들이 일치해야 네트워크 학습이 가능한 지도 학습(supervised learning)을 통해 노이즈를 제거하고 있다. 하지만, 실제 임상 상황에서 저 선량 및 일반(routine) 선량 CT 영상 쌍(pairs)을 얻는 것은 어렵다. 쌍을 이루는 CT 영상을 얻기 위해 환자는 추가 방사선 노출을 여러 번 경험해야 하기 때문이다. 관상 동맥 CTA의 경우, 심장 움직임으로 인해 심장의 위치와 모양이 정확히 같은 저 선량 CT영상과 일반 선량 CT 영상을 얻을 수 없으며, 또한 조영제를 투여하므로 CT 값들 또한 시간에 따라 변하게 된다. 따라서 기존의 지도학습 기반 방법은 적용이 불가능하다는 단점이 있다.
이 매칭되지 않는 쌍 문제를 해결하기 위한 기존 일 실시예의 기술은 노이즈 제거(denoising) 네트워크 출력의 분포가 일반 선량 영상과 일치할 수 있도록 생성적 적대 네트워크(GAN; generative adversarial network) 손실을 가진 저 선량 CT 노이즈 제거 네트워크를 제안하였다. 그러나 CT 노이즈 제거에 대한 GAN의 중요한 한계 중 하나는 맵핑의 퇴화(degeneracy)로 인해 네트워크가 영상에 존재하지 않는 특징을 생성하는 잠재적인 위험이 존재한다는 점이다. 이는 GAN 네트워크가 데이터 분포와 일치되도록 트레이닝되었기 때문에 입력 및 출력 데이터가 의미 있는 방식으로 페어링되는 것을 보장하지 않기 때문이다. 즉, 동일한 분포를 생성함에도 불구하고, 하나의 출력(또는 입력)에 매칭되지 않는 다양한 입력(또는 출력)이 존재할 수 있다.
본 발명의 실시예들은, 노이즈가 포함된 저 선량 엑스선 전산단층 촬영 영상을 준지도 학습 기반의 뉴럴 네트워크를 이용하여 노이즈가 제거된 고화질의 영상으로 복원할 수 있는 영상 처리 방법 및 그 장치를 제공한다.
구체적으로, 본 발명의 실시예들은, 비매칭 데이터를 이용하여 학습된 준지도 학습 기반의 뉴럴 네트워크를 이용하여 저 선량 엑스선 전산단층 촬영 영상에서 노이즈를 제거하여 고화질의 영상으로 복원할 수 있는 영상 처리 방법 및 그 장치를 제공한다.
본 발명의 실시예들은, 컨볼루션 프레임렛(convolution framelet)에 따른 국소 기저(local basis)와 비국소 기저(non-local basis)를 이용하여 뉴럴 네트워크를 구성함으로써, 복원 성능을 향상시키고, 복원에 필요한 연산량을 줄일 수 있으며 및 복원 속도를 개선할 수 있는 영상 처리 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 영상 처리 방법은 저 선량 엑스선 전산단층(CT) 영상을 수신하는 단계; 및 비매칭 데이터를 이용하여 학습된 준지도 학습(semi-supervised learning) 기반의 뉴럴 네트워크를 이용하여 상기 저 선량 엑스선 전산단층 영상으로부터 노이즈를 제거함으로써, 상기 저 선량 엑스선 전산단층 영상에 대응하는 일반(routine) 선량 엑스선 전산단층 영상으로 복원하는 단계를 포함한다.
상기 뉴럴 네트워크는 저 선량 엑스선 전산단층 영상과 일반 선량 엑스선 전산단층 영상에 대하여, 미리 정의된 식별 손실(identity loss), 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습될 수 있다.
나아가, 본 발명의 일 실시예에 따른 영상 처리 방법은 촬영된 제1 저 선량 엑스선 전산단층 영상과 제1 뉴럴 네트워크를 이용하여 출력된 노이즈를 제거한 제1 일반 선량 엑스선 전산단층 영상 간의 식별 손실(identity loss), 상기 제1 저 선량 엑스선 전산단층 영상과 상기 제1 일반 선량 엑스선 전산단층 영상을 입력으로 하는 제2 뉴럴 네트워크를 이용하여 출력된 노이즈가 포함된 제2 저 선량 엑스선 전산단층 영상 간의 사이클 손실(cyclic loss) 및 상기 제1 저 선량 엑스선 전산단층 영상과 상기 제2 뉴럴 네트워크를 이용하여 출력되는 촬영된 제2 일반 선량 엑스선 전산단층 영상에 대한 제3 저 선량 엑스선 전산단층 영상을 구별하기 위한 판별기의 적대 손실(adversarial loss)에 기초하여 상기 제1 뉴럴 네트워크, 상기 제2 뉴럴 네트워크 및 상기 판별기를 학습하는 단계를 더 포함하고, 상기 복원하는 단계는 상기 학습된 제1 뉴럴 네트워크를 이용하여 상기 저 선량 엑스선 전산단층 영상에 대응하는 일반 선량 엑스선 전산단층 영상으로 복원할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 제1 저 선량 엑스선 전산단층 영상을 입력으로 상기 제1 저 선량 엑스선 전산단층 영상에 대응하는 제1 일반 선량 엑스선 전산단층 영상을 출력하는 제1 뉴럴 네트워크; 상기 제1 뉴럴 네트워크의 출력 영상을 입력으로 상기 출력 영상에 대응하는 제2 저 선량 엑스선 전산단층 영상을 출력하는 제2 뉴럴 네트워크; 제2 일반 엑스선 전산단층 영상을 입력으로 상기 제2 일반 선량 엑스선 전산단층 영상에 대응하는 제3 저 선량 엑스선 전산단층 영상을 출력하는 제3 뉴럴 네트워크; 상기 제3 뉴럴 네트워크의 출력 영상을 입력으로 상기 출력 영상에 대응하는 제3 일반 엑스선 전산단층 영상을 출력하는 제4 뉴럴 네트워크; 상기 제1 저 선량 엑스선 전산단층 영상과 상기 제3 뉴럴 네트워크의 출력 영상을 구별하는 제1 판별기; 및 상기 제2 일반 엑스선 전산단층 영상과 상기 제1 뉴럴 네트워크의 출력 영상을 구별하는 제2 판별기를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 영상 처리 방법은 저 선량 엑스선 전산단층(CT) 영상을 수신하는 단계; 및 준지도 학습(semi-supervised learning) 기반의 노이즈를 제거하는 뉴럴 네트워크를 이용하여 상기 저 선량 엑스선 전산단층 영상으로부터 노이즈를 제거된 전산단층 영상으로 복원하는 단계를 포함한다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 처리 장치는 저 선량 엑스선 전산단층(CT) 영상을 수신하는 수신부; 및 비매칭 데이터를 이용하여 학습된 준지도 학습(semi-supervised learning) 기반의 뉴럴 네트워크를 이용하여 상기 저 선량 엑스선 전산단층 영상으로부터 노이즈를 제거함으로써, 상기 저 선량 엑스선 전산단층 영상에 대응하는 일반(routine) 선량 엑스선 전산단층 영상으로 복원하는 복원부를 포함한다.
상기 뉴럴 네트워크는 저 선량 엑스선 전산단층 영상과 일반 선량 엑스선 전산단층 영상에 대하여, 미리 정의된 식별 손실(identity loss), 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습될 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
본 발명의 실시예들에 따르면, 비매칭 데이터를 이용하여 학습된 준지도 학습 기반의 뉴럴 네트워크를 이용하여 저 선량 엑스선 전산단층 촬영 영상에서 노이즈를 제거하여 고화질의 영상으로 복원할 수 있다.
본 발명의 실시예들에 따르면, 컨볼루션 프레임렛(convolution framelet)에 따른 국소 기저(local basis)와 비국소 기저(non-local basis)를 이용하여 뉴럴 네트워크를 구성함으로써, 복원 성능을 향상시키고, 복원에 필요한 연산량을 줄일 수 있으며 및 복원 속도를 개선할 수 있다.
본 발명의 실시예들에 따르면, 심장 CT와 같이 원천적으로 매칭 데이터를 얻기 힘든 경우 외에도, 비매칭 데이터를 확보한 경우 CT, MRI 영상과 같이 다양한 의료 영상 화질 개선에 모두 응용이 가능하고, 또한 방사선 조사량을 줄인 저 선량 엑스선 전산단층 촬영 영상 복원에 적용될 수 있으며, 다양한 전산단층 촬영 기법에 응용될 수 있다.
이러한 본 발명은 지도 학습의 한계를 벗어나 비매칭 데이터를 활용하여 뉴럴 네트워크를 학습시키는 준지도 학습 기반의 알고리즘이다.
도 1은 다상 관상 동맥 CTA 영상을 획득하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 2는 본 발명의 다른 일 실시예에 따른 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 저 선량 CT 영상 노이즈 제거 네트워크 구조에 대한 프레임워크를 나타낸 것이다.
도 4는 두 개의 생성기의 네트워크 구조에 대한 일 예시도를 나타낸 것이다.
도 5는 두 개의 판별기의 네트워크 구조에 대한 일 예시도를 나타낸 것이다.
도 6은 본 발명에 따른 방법에 의한 저 선량 심장 CT 영상을 복원한 결과에 대한 일 예시도를 나타낸 것이다.
도 7은 본 발명에 따른 방법에 의한 저 선량 심장 CT 영상을 복원한 결과에 대한 다른 일 예시도를 나타낸 것이다
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사 전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
관상 동맥 CTA에서, 저 선량과 고 선량 위상의 영상이 심장 움직임으로 인해 정확히 일치하지 않더라도, 이 영상들은 동일한 심장 볼륨으로부터 얻어진 것이므로 중요한 관련성을 가진다. 따라서 정확하게 노이즈가 제거된 저 선량 위상이 일반 선량 영상 분포를 보다 밀접하게 따르므로 두 위상의 심장 영상을 학습하는 것이 완전히 다른 영상을 학습하는 것보다 효과적이라고 추측할 수 있다.
본 발명의 실시예들은, 비매칭 데이터를 이용하여 학습된 준지도 학습 기반의 뉴럴 네트워크를 이용하여 저 선량 엑스선 CT 촬영 영상에서 노이즈를 제거하여 고화질의 영상 예컨대, 일반 선량 엑스선 CT 영상으로 복원하는 것을 그 요지로 한다.
여기서, 본 발명은 일반(routine) 선량 위상에서 CT 영상을 학습함으로써, 저 선량 위상에서 얻은 CT 영상의 노이즈를 제거할 수 있는 뉴럴 네트워크를 이용하여 영상을 복원할 수 있다.
비록, 지도 학습 방법은 두 위상의 기본 심장 구조의 차이로 인해 가능하지 않지만, 두 위상의 영상들은 밀접한 관련을 가지므로 본 발명은 사이클 일관성을 사용하여 고 선량 위상에서 영상 분포를 학습함으로써 저 선량 위상에서의 CT 영상을 실제로 향상시킬 수 있다.
본 발명은 A, B가 두 개의 서로 다른 도메인(저 선량 및 일반 선량)에 해당하는 두 네트워크 GAB : A → B와 GBA : B → A를 트레이닝한다. 여기서, GAB는 A를 입력으로 B를 출력하는 네트워크를 의미하고, GBA는 B를 입력으로 A를 출력하는 네트워크를 의미할 수 있다. 그런 다음, 트레이닝 목표는 GAB와 GBA가 서로 역방향이라는 것, 즉 GBA(GAB(xA))
Figure pat00001
xA와 GAB(GBA(xB))
Figure pat00002
xB이다. 역방향 경로가 존재하기 때문에 생성적 적대 네트워크(GAN)에서 맵핑의 퇴화(degeneracy) 문제를 피할 수 있다. 나아가, 본 발명은 식별 손실을 이용할 수 있다. 표준 사이클 생성적 적대 네트워크와 달리, 생성기로부터 기대하는 변화는 입력 영상에 존재하지 않는 인위적인 특징이 생성되는 문제를 방지하기 위한 노이즈 기여도이다.
여기서, 본 발명에서 사용하는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
컨볼루션 프레임렛은 입력신호 f에 대하여 국소 기저(
Figure pat00003
)와 비국소 기저 (
Figure pat00004
)를 이용하여 표현한 것으로, 아래 <수학식 1>과 같이 나타낼 수 있다.
[수학식 1]
Figure pat00005
여기서,
Figure pat00006
는 비국소 기저 벡터를 가지는 선형 변환 연산을 의미하고,
Figure pat00007
Figure pat00008
는 국소 기저 벡터를 가지는 선형 변환 연산을 의미할 수 있다.
이 때, 국소 기저 벡터와 비국소 기저 벡터는 각각 서로 직교하는 듀얼 기저 벡터
Figure pat00009
Figure pat00010
를 가질 수 있으며, 기저 벡터들의 직교 관계는 아래 <수학식 2>와 같이 정의될 수 있다.
[수학식 2]
Figure pat00011
상기 수학식 2를 이용하면 컨볼루션 프레임렛은 아래 <수학식 3>과 같이 표현할 수 있다.
[수학식 3]
Figure pat00012
Figure pat00013
여기서,
Figure pat00014
는 행켈 행렬 연산(Hankel matrix operator)을 의미하는 것으로, 컨볼루션 연산을 행렬곱(matrix multiplication)으로 표현할 수 있게 해주며, C는 국소 기저와 비국소 기저에 의하여 변환된 신호인 컨볼루션 프레임렛 계수(convolution framelet coefficient)를 의미할 수 있다.
컨볼루션 프레임렛 계수
Figure pat00015
는 듀얼 기저 벡터
Figure pat00016
를 적용하여 본래의 신호로 복원될 수 있다. 신호 복원 과정은 아래 <수학식 4>와 같이 나타낼 수 있다.
[수학식 4]
Figure pat00017
이와 같이, 국소 기저 및 비국소 기저를 통해 입력 신호를 표현하는 방식을 컨볼루션 프레임렛이라 한다.
도 2는 본 발명의 다른 일 실시예에 따른 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 방법은 저 선량 엑스선 CT 영상을 수신하는 단계(S210)과 비매칭 데이터를 이용하여 학습된 준지도 학습 기반의 뉴럴 네트워크를 이용하여 수신된 저 선량 CT 영상에서 노이즈를 제거함으로써, 노이즈가 제거된 일반 선량 엑스선 CT 영상으로 복원하는 단계(S220)를 포함한다.
여기서, 단계 S210에서 수신되는 저 선량 엑스선 CT 영상은 관상 동맥 CTA의 저 선량 엑스선 CT 영상을 포함할 수 있다.
여기서, 단계 S220에서 사용하는 뉴럴 네트워크는 컨볼루션 프레임렛 기반의 뉴럴 네트워크를 포함할 수 있으며, 저 선량 엑스선 전산단층 영상과 일반 선량 엑스선 전산단층 영상에 대하여, 미리 정의된 식별 손실(identity loss), 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습될 수 있다.
이러한 본 발명에 따른 방법에 대해 아래에서 상세히 설명한다.
프레임워크
도 3은 본 발명의 일 실시예에 따른 저 선량 CT 영상 노이즈 제거 네트워크 구조에 대한 프레임워크를 나타낸 것이다.
도 3에 도시된 A는 저 선량 CT 도메인을 의미하고, B는 일반 선량(또는 정상 선량) CT 도메인을 의미하며, PA 및 PB는 각 도메인에 대한 데이터 분포를 의미하고, 생성기 GAB는 A를 입력으로 B를 출력하는 네트워크를 의미하며, 생성기 GBA는 B를 입력으로 A를 출력하는 네트워크를 의미한다. 여기서, 생성기 GAB는 A에서 B로의 매핑을 의미하고, GBA는 B에서 A로의 매핑을 의미할 수 있다.
생성기(GAB, GBA)는 각각 저 선량 CT 영상을 일반 선량 CT 영상처럼 복원하는 뉴럴 네트워크와 일반 선량 CT 영상에 저 선량 CT 영상처럼 노이즈를 생성하는 뉴럴 네트워크이다.
생성기에 관하여, 저 선량 CT 영상에서 노이즈 감소를 위해 최적화된 네트워크를 사용할 수 있으며, 측정된 입력 영상과 생성기로부터의 합성 영상을 구별하는 2개의 적대 판별기(discriminator) DA, DB를 포함한다.
즉, 도 3에 도시된 프레임워크는 제1 생성기(GAB), 제2 생성기(GBA), 제1 판별기(DA) 및 제2 판별기(DB)를 포함하며, 정확히 매칭되는 영상이 없으므로 두 개의 네트워크(GAB, GBA)를 동시에 학습시켜 두 도메인 분포(distribution)을 매칭하는 것이다.
제1 생성기(GAB)는 촬영된 저 선량 엑스선 CT 영상(xA)를 입력으로 하여 저 선량 엑스선 CT 영상(xA)에서 노이즈를 제거한 일반 선량 엑스선 CT 영상(xAB)을 출력하며, 제2 생성기(GBA)에 의해 출력된 저 선량 엑스선 CT 영상(xBA)을 입력으로 하여 저 선량 엑스선 CT 영상(xBA)에서 노이즈를 제거한 일반 선량 엑스선 CT 영상(xBAB)을 출력한다.
제2 생성기(GBA)는 촬영된 일반 선량 엑스선 CT 영상(xB)를 입력으로 하여 일반 선량 엑스선 CT 영상(xB)에 노이즈를 추가한 저 선량 엑스선 CT 영상(xBA)을 출력하며, 제1 생성기(GAB)에 의해 출력된 일반 선량 엑스선 CT 영상(xAB)을 입력으로 하여 일반 선량 엑스선 CT 영상(xAB)에 노이즈를 추가한 일반 선량 엑스선 CT 영상(xABA)을 출력한다.
제1 판별기(DA)는 저 선량 엑스선 CT 영상(xA)과 저 선량 엑스선 CT 영상(xBA)을 구별하는 뉴럴 네트워크이며, 제2 판별기(DB)는 일반 선량 엑스선 CT 영상(xAB)와 일반 선량 엑스선 CT 영상(xB)을 구별하는 뉴럴 네트워크이다.
Lidentity1과 Lidentity2는 각각 저 선량 엑스선 CT 영상(xA)과 일반 선량 엑스선 CT 영상(xAB) 간의 식별 손실(identity loss) 그리고 일반 선량 엑스선 CT 영상(xB)과 저 선량 엑스선 CT 영상(xBA) 간의 식별 손실을 의미한다.
Lcycle1과 Lcycle2는 각각 저 선량 엑스선 CT 영상(xA)과 일반 선량 엑스선 CT 영상(xABA) 간의 사이클 손실(cyclic loss) 그리고 일반 선량 엑스선 CT 영상(xB)과 일반 선량 엑스선 CT 영상(xBAB) 간의 사이클 손실을 의미한다.
Ladv1과 Ladv2는 각각 제1 판별기(DA)의 적대 손실(adversarial loss)과 제2 판별기(DB)의 적대 손실을 의미한다.
이러한 식별 손실, 사이클 손실 및 적대 손실에 대한 설명은 뒤에서 상세히 설명한다.
생성기와 판별기는 동시에 트레이닝될 수 있다. 특히, 아래 <수학식 5>와 같은 최적화 문제를 해결하고자 한다.
[수학식 5]
Figure pat00018
여기서, 전체 손실은 아래 <수학식 6>과 같이 정의될 수 있다.
[수학식 6]
Figure pat00019
여기서, λ와 γ는 손실의 중요도를 제어하는 파라미터를 의미하고,
Figure pat00020
Figure pat00021
는 각각 적대 손실, 사이클 손실 및 식별 손실을 의미할 수 있다.
적대 손실, 사이클 손실 및 식별 손실 각각에 대해 상세히 설명하면 다음과 같다.
손실 공식(loss formulation)
적대 손실(adversarial loss)
본 발명은 GAN을 사용하는 적대 손실을 사용한다. 원래의 GAN에 따르면, 생성기 GAB와 판별기 DB는 아래 <수학식 7>과 같은 최소-최대 문제를 해결함으로써, 트레이닝될 수 있다.
[수학식 7]
Figure pat00022
상기 수학식 7에서, GAB는 저 선량 CT 영상 xA의 노이즈를 일반 선량 CT 영상 xB와 유사하게 만들도록 트레이닝되는 반면, DB는 노이즈가 제거된 CT 영상 GAB(xA) 와 일반 선량 CT 영상 xB를 구별하도록 트레이닝된다.
하지만, 트레이닝 과정에서 오리지널 적대 손실이 불안정하기 때문에 본 발명은 로그 우도(log-likelihood) 함수를 최소 제곱근 GAN(LSGAN; least squares GAN)에서와 같이 최소 제곱 손실로 변경한다. 이와 같이 변경하면, 최소-최대 문제를 아래 <수학식 7>과 같이 두 최소화 문제로 변경할 수 있다.
[수학식 8]
Figure pat00023
적대 손실은 생성기가 일반 선량에서의 실제 영상으로 분류하도록 판별기를 속일 수 있는 노이즈 제거 영상을 생성하도록 유발한다. 동시에, 적대 손실은 판별기가 노이즈 제거 영상과 일반 선량 영상을 잘 구분하도록 가이드할 수 있다. 유사한 적대 손실이 노이즈 영상을 생성하는 생성기 GBA에 추가될 수 있다.
사이클 손실(cyclic loss)
본 발명은 적대 손실로 GAB와 GBA를 트레이닝시킴으로써, 현실적인 노이즈 제거 CT 영상과 노이즈 CT 영상을 생성할 수 있다. 하지만, 도 3에서 설명된 역방향 관계가 있음을 보장하지는 않는다.
노이즈 영상과 노이즈 제거 영상을 일대일로 대응시키고 퇴화를 방지하기 위해, 두 개의 생성기들로 구성된 사이클이 입력 xA를 오리지널 영상으로 가져오도록 적용될 수 있다. 사이클 손실은 아래 <수학식 9>와 같이 정의될 수 있다.
[수학식 9]
Figure pat00024
여기서, ∥∥1는 l1-놈(norm)을 의미할 수 있다. 그러면, 사이클 손실은 GAB와 GBA가 서로 반대가 되어야 한다는 제약 조건을 강요한다. 즉 GBA(GAB(xA))
Figure pat00025
xA와 GAB(GBA(xB))
Figure pat00026
xB이다.
식별 손실(identity loss)
다상 CTA에서 심장 위상과 선량 변조가 원래 계획대로 완벽하게 정렬되지 않은 경우가 종종 있다. 예를 들어, 다상 CTA 획득 과정에서 심중 수축 위상 영상(systolic phase image)은 저 선량 변조를 이용하여 획득하지만 부정맥으로 인한 심장 주기와의 불일치로 인하여 심장 수축 위상 영상 노이즈 레벨이 달라질 수 있고 심지어 풀 선량으로 나타날 수도 있다. 이 경우 생성기 GAB로의 입력은 풀 선량일 수 있으므로, 생성기를 트레이닝시켜 깨끗한 영상을 변경하지 않는 것이 중요하다. 마찬가지로, 생성기 GBA는 저 선량 레벨에서 획득된 입력 영상을 변경해서는 안 된다. 이러한 조건을 만족시키기 위해 두 생성기 GAB와 GBA를 시행하려면, 아래 <수학식 10>의 식별 손실을 최소화해야 한다.
[수학식 10]
Figure pat00027
즉, 생성기들은 아래 <수학식 11>에 나타낸 바와 같이, 타겟 도메인에서 입력 영상에 대한 식별 매핑으로 작동해야 한다.
[수학식 11]
Figure pat00028
이러한 식별 손실은 입력과 출력 도메인 사이의 칼라 구성을 유지하기 위하여 그림에서 사진을 생성할 때의 식별 손실과 유사하다. 제약 조건은 정확하게 생성된 출력 영상이 동일한 네트워크의 입력으로 사용될 때 더 이상 변하지 않도록 한다. 즉, 타겟 도메인은 생성기의 고정 포인트여야 한다. 이 제약 조건은 인공적인 특징을 생성하는 것을 피하기 위해 중요하다.
네트워크 구조
도 4는 두 개의 생성기 GAB와 GBA의 네트워크 구조에 대한 일 예시도를 나타낸 것으로, 도 4에 도시된 네트워크 구조는 저 선량 CT 영상 노이즈 제거에 최적화된 네트워크 구조이다.
도 4에 도시된 바와 같이, 첫 번째 컨볼루션 레이어는 128 세트의 3 × 3 컨벌루션 커널을 사용하여 128개의 채널 특징 맵을 생성한다. 본 발명은 3세트의 선형 변환(linear transform) 연산을 수행하는 컨볼루션 레이어, 정규화(normalization) 연산을 수행하는 배치 노말라이제이션(batch normalization) 레이어, 비선형 함수(nonlinear function) 연산을 수행하는 ReLU(rectified linear unit) 레이어 및 ReLU 레이어를 사용한 단일 바이패스 연결로 구성된 6세트의 모듈을 보유할 수 있다.
모듈의 컨볼루션 레이어는 128 세트의 3 × 3 × 128 컨벌루션 커널을 사용한다. 그리고, 네트워크는 각 모듈의 입력들과 마지막 모듈의 출력을 연쇄시키는 연쇄 레이어(concatenation layer)를 가지며, 128개의 3 × 3 × 896 컨볼루션 커널 세트가 존재하는 컨볼루션 레이어가 이어진다. 여기서, 연쇄 레이어는 다중 신호 표현을 사용하여 신호 부스팅 효과를 가지며 그래디언트 역전파를 위한 다양한 경로를 제공할 수 있다.
마지막 컨볼루션 레이어는 15세트의 3 × 3 × 128 컨볼루션 커널을 사용하며, 바이패스 연결의 이점을 활용하면서 노이즈가 없는 영상을 평가하기 위해 단대단(end-to-end) 바이패스 연결을 추가할 수 있다.
도 5는 판별기 DA와 DB의 네트워크 구조에 대한 일 예시도를 나타낸 것으로, 도 5에 도시된 네트워크 구조는 70 × 70 오버래핑 영상 패치를 분류하여 PatchGAN이 실제인지 또는 합성인지를 확인하는 PatchGAN(P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros, "Image-to-image translation with conditional adversarial networks," in 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.)에서의 네트워크 구조를 포함할 수 있다.
도 5에 도시된 네트워크 구조는 마지막 완전 연결 레이어를 포함한 5개의 컨볼루션 레이어로 구성된다. 첫 번째 컨볼루션 레이어는 64개 세트의 4 × 4 컨벌루션 커널을 사용하며, 후속되는 레이어의 컨볼루션 커널은 마지막 완전 연결 레이어를 제외하고 이전 레이어의 두 배이다. 임의의 크기를 가지는 영상은 이 판별기 네트워크에 적용될 수 있다.
데이터: 심장 CT 스캔
연구 집단은 승모판 탈출증(mitral valve prolapse) 환자의 CT 스캔 50건과 관상 동맥 질환 환자의 CT 스캔 50건으로 구성되며, CT 스캔 프로토콜은 미리 설정될 수 있다. 평균 연령은 58 ± 13.2세이고, 평균 체중은 66.2 ± 12.6 kg이다. 2세대 듀얼 소스 CT 스캐너를 사용하여 심전도 동기(ECG-gated) 심장 CT 스캔을 수행할 수 있으며,
심전도(ECG)-gated 심장 CT 스캔이 수행되었다. 심전도 기반 튜브 전류 변조를 이용한 후향(retrospective) 심전도 동기 나선형 스캔이 R-R 간격(R-R interval)의 30~80%의 풀 선량(full dose) 펄스 윈도우를 구성하는 R-R 간격의 0~90%의 다중 위상에 적용될 수 있다. 튜브 전류는 심전도 펄스 윈도우 외부 최대 값의 20%로 감소될 수 있다. 조영제 70~90mL의 볼러스(bolus)가 파워 인젝터(power injector)에 의해 4.0mL/s의 레이트(rate)로 투여되고, 이어서 40mL의 식염수(saline)가 투여될 수 있다. 관심 영역(예를 들어, 상행 대동맥(ascending aorta)), 감쇠 임계 레벨(attenuation threshold level)(예를 들어, 100HU) 및 일정 스캔 지연(예를 들어, 8초)을 포함하는 볼러스 추적 방법이 스캔 시간을 결정하기 위해 적용될 수 있다. 모든 CT 스캔에서, 튜브 전압과 튜브 전류-노출 시간 곱은 환자의 신체 크기에 따라 조정될 수 있으며, 스캔 파라미터는 80~120kV의 튜브 전압, 185~380mAs의 튜브 전류-노출 시간 곱, 128 × 0.6mm의 시준(collimation) 및 280s의 갠트리 회전 시간을 포함할 수 있다. CCTA의 평균 유효 방사선 량은 11.4 ± 6.2mSv이다. 영상 재구성을 위해 표준 심장 필터가 사용될 수 있다.
트레이닝
트레이닝은 λ = 10와 γ = 5로 상기 수학식 6의 손실 함수를 최소화하여 수행될 수 있다. 본 발명은 ADAM 최적화 방법을 적용하여 β1 = 0.5와 β2 = 0.999로 모든 네트워크를 트레이닝할 수 있다. 에포크 수(또는 트레이닝 횟수)는 200회이고, 트레이닝 중 학습 레이트를 제어하기 위해 두 단계로 나누어질 수 있다. 처음 100회의 트레이닝에서 학습 레이트를 0.0002로 설정하고, 다음 100회의 트레이닝에 대해 0으로 선형적으로 감소시킨다. 패치의 크기는 56 × 56이고 미니 배치의 크기는 10일 수 있다. 커널은 가우스 분포에서 무작위로 초기화되고, 각 에포크마다 생성기와 판별기를 번갈아 가며 업데이트할 수 있다. 본 발명은 입력 저 선량 CT 영상의 최대 값도 값을 이용하여 입력 저 선량 CT 영상 및 타겟 일반 선량 CT 영상의 강도를 정규화하고, 0.5를 차감한 다음 2를 곱하여 입력 영상 강도 범위를 [-1, 1]로 설정할 수 있다.
평가
시각적 그레이딩 분석
본 발명은 상대적인 시각적 그레이딩 분석(VGA)을 이용하여 질적 영상 품질을 평가할 수 있다. VGA 방법은 CT 영상의 특정 해부학적 구조에 존재할 수 있는 구조적 이상을 평가하는 임상 과제와 관련된다. 두 명의 전문 심장 방사선의가 영상 품질을 평가하기 위해 일련의 해부학적 구조를 수립한다. 아래 <표 1>은 본 발명에서 사용된 13가지 해부학적 구조를 보여주고, VGA 점수 스케일이 아래 <표 2>에 나타나 있다.
Figure pat00029
Figure pat00030
노이즈 제거 CT 영상을 포함하는 모든 CT 영상은 시각적 그레이딩을 위해 의료 영상 저장 전송 시스템(PACS; picture archiving and communication system)에 업로드될 수 있다. 무작위로 선정된 승모판 탈출증 환자의 25개의 CT 스캔과 관상 동맥 질환 환자의 25개의 CT 스캔이 VGA에 포함될 수 있으며, 총 1300개의 CT 영상(선택된 50개의 CT 영상 × 13개의 구조 × 오리지널 및 노이즈 제거 CT)이 평가될 수 있다. 2명의 방사선의가 VGA를 수행하고, 모든 CT 스캔은 나란히 비교되지 않고 독립적으로 평가될 수 있다.
정량 분석
상행 대동맥(ascending aorta), 좌심실(left ventricular cavity), 좌심실 중격(left ventricular septum) 및 근위 우 관상 동맥(proximal right coronary artery)의 4가지 해부학적 구조에서 모든 영상의 영상 노이즈 및 신호 대 노이즈 비(SNR)를 획득한다. SNR을 평가하는 관심 영역의 크기는 각 해부학적 구조에 맞게 가변될 수 있으나 다른 구조와 겹치지 않고 각 구조에 한정될 수 있다.
통계 분석
본 발명은 오리지널 CT 영상과 노이즈 제거 영상으로부터 얻은 VGA 점수를 카이 자승 테스트(chi-square test)를 이용하여 비교할 수 있으며, 영상 노이즈와 SNR은 대응 t-테스트(paired t-test)를 이용하여 비교될 수 있다. 0.05보다 작은 P 값은 통계적 유의성(statistical significance)을 나타낼 수 있다. 여기서, 통계 분석은 상용 소프트웨어를 이용하여 수행될 수 있다.
도 6은 본 발명에 따른 방법에 의한 저 선량 심장 CT 영상을 복원한 결과에 대한 일 예시도를 나타낸 것으로, 관상 동맥 질환 환자의 데이터 세트로부터의 복원 결과를 나타낸 것이다. 여기서, 도 5는 본 발명에 의한 생성기 GAB를 이용하여 저 선량 심장 CT 영상을 복원한 결과이며, 화살표는 위상 1의 입력 영상과 위상 8의 타겟 영상 사이의 명확히 다른 영역을 나타낸 것이다.
도 5에 도시된 입력 영상과 결과 영상의 차 영상(input-result)을 통해 알 수 있듯이 노이즈만 제거하여 깨끗하게 영상을 복원하고, 실제 입력 값인 저 선량 CT 영상의 정보들이 소실되지 않고 남아있는 것을 확인 할 수 있다.
도 7은 본 발명에 따른 방법에 의한 저 선량 심장 CT 영상을 복원한 결과에 대한 다른 일 예시도를 나타낸 것으로, 저 선량 엑스선 CT 영상의 노이즈 정도가 정상 선량 엑스선 CT 영상과 비슷한 경우에 대한 영상 복원 결과를 나타낸 것이다.
예컨대, 심장 박동과 촬영 시점이 정확히 매칭되지 않아서 위상 1(phase 1)일 때도 정상 선량 엑스선 CT 영상 정도의 노이즈을 가지는 데이터의 경우에 복원 결과를 나타낸 것으로, 도 7을 통해 알 수 있듯이 본 발명에 따른 뉴럴 네트워크 GAB가 노이즈만을 제거하는 미리 설정된 식별 조건을 만족한다는 것을 알 수 있으며, 노이즈 정도에도 견고하다는 장점을 보여주고, 인공적인 특성을 만들어내지 않는 다는 것을 알 수 있다. 이는 의료 영상에서 상당히 중요한 부분이며 본 발명의 뉴럴 네트워크가 가지는 큰 장점이라고 할 수 있다.
이와 같이, 본 발명의 실시예에 따른 방법은 비매칭 데이터를 이용하여 학습된 준지도 학습 기반의 뉴럴 네트워크를 이용하여 저 선량 엑스선 전산단층 촬영 영상에서 노이즈를 제거하여 고화질의 영상으로 복원할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 컨볼루션 프레임렛(convolution framelet)에 따른 국소 기저(local basis)와 비국소 기저(non-local basis)를 이용하여 뉴럴 네트워크를 구성함으로써, 복원 성능을 향상시키고, 복원에 필요한 연산량을 줄일 수 있으며 및 복원 속도를 개선할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 심장 CT와 같이 원천적으로 매칭 데이터를 얻기 힘든 경우 외에도, 비매칭 데이터를 확보한 경우 CT, MRI 영상과 같이 다양한 의료 영상 화질 개선에 모두 응용이 가능하고, 또한 방사선 조사량을 줄인 저 선량 엑스선 전산단층 촬영 영상 복원에 적용될 수 있으며, 다양한 전산단층 촬영 기법에 응용될 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 구성을 나타낸 것으로, 상술한 도 2 내지 도 7을 수행하는 장치에 대한 구성을 나타낸 것이다.
도 8을 참조하면, 본 발명의 실시예에 따른 영상 처리 장치(800)는 수신부(810) 및 복원부(820)를 포함한다.
수신부(810)는 저 선량 엑스선 CT 영상을 수신한다.
여기서, 수신부(810)는 관상 동맥 CTA의 저 선량 엑스선 CT 영상을 수신할 수 있다.
복원부(820)는 비매칭 데이터를 이용하여 학습된 준지도 학습(semi-supervised learning) 기반의 뉴럴 네트워크를 이용하여 저 선량 엑스선 CT 영상으로부터 노이즈를 제거함으로써, 저 선량 엑스선 CT 영상에 대응하는 일반 선량 엑스선 CT 영상으로 복원한다.
여기서, 뉴럴 네트워크는 저 선량 엑스선 CT 영상과 일반 선량 엑스선 CT 영상에 대하여, 미리 정의된 식별 손실(identity loss), 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습될 수 있으며, 상기 도 3에 도시된 네트워크 구조에서 학습될 수 있다. 구체적으로, 저 선량 엑스선 CT 영상(xA)과 일반 선량 엑스선 CT 영상(xAB) 간의 식별 손실 그리고 일반 선량 엑스선 CT 영상(xB)과 저 선량 엑스선 CT 영상(xBA) 간의 식별 손실(Lidentity, Lidentity2), 저 선량 엑스선 CT 영상(xA)과 일반 선량 엑스선 CT 영상(xABA) 간의 사이클 손실 그리고 일반 선량 엑스선 CT 영상(xB)과 일반 선량 엑스선 CT 영상(xBAB) 간의 사이클 손실(Lcycle1, Lcycle2) 및 제1 판별기(DA)의 적대 손실(adversarial loss)과 제2 판별기(DB)의 적대 손실(Ladv1, Ladv2)에 기초하여 제1 생성기(GAB), 제2 생성기(GBA), 제1 판별기(DA) 및 제2 판별기(DB)를 학습할 수 있다.
여기서, 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
비록, 도 8의 장치에서 그 설명이 생략되었더라도, 도 8을 구성하는 각 구성 수단을 도 2 내지 도 7에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.  또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.  이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.  예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다.  또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.  소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.  소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.  상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.  상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.  컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.  프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.  예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

  1. 저 선량 엑스선 전산단층(CT) 영상을 수신하는 단계; 및
    비매칭 데이터를 이용하여 학습된 준지도 학습(semi-supervised learning) 기반의 뉴럴 네트워크를 이용하여 상기 저 선량 엑스선 전산단층 영상으로부터 노이즈를 제거함으로써, 상기 저 선량 엑스선 전산단층 영상에 대응하는 일반(routine) 선량 엑스선 전산단층 영상으로 복원하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 뉴럴 네트워크는
    저 선량 엑스선 전산단층 영상과 일반 선량 엑스선 전산단층 영상에 대하여, 미리 정의된 식별 손실(identity loss), 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습되는 것을 특징으로 하는 영상 처리 방법.
  3. 제1항에 있어서,
    촬영된 제1 저 선량 엑스선 전산단층 영상과 제1 뉴럴 네트워크를 이용하여 출력된 노이즈를 제거한 제1 일반 선량 엑스선 전산단층 영상 간의 식별 손실(identity loss), 상기 제1 저 선량 엑스선 전산단층 영상과 상기 제1 일반 선량 엑스선 전산단층 영상을 입력으로 하는 제2 뉴럴 네트워크를 이용하여 출력된 노이즈가 포함된 제2 저 선량 엑스선 전산단층 영상 간의 사이클 손실(cyclic loss) 및 상기 제1 저 선량 엑스선 전산단층 영상과 상기 제2 뉴럴 네트워크를 이용하여 출력되는 촬영된 제2 일반 선량 엑스선 전산단층 영상에 대한 제3 저 선량 엑스선 전산단층 영상을 구별하기 위한 판별기의 적대 손실(adversarial loss)에 기초하여 상기 제1 뉴럴 네트워크, 상기 제2 뉴럴 네트워크 및 상기 판별기를 학습하는 단계
    를 더 포함하고,
    상기 복원하는 단계는
    상기 학습된 제1 뉴럴 네트워크를 이용하여 상기 저 선량 엑스선 전산단층 영상에 대응하는 일반 선량 엑스선 전산단층 영상으로 복원하는 것을 특징으로 하는 것을 특징으로 하는 영상 처리 방법.
  4. 제1항에 있어서,
    상기 뉴럴 네트워크는
    컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
  5. 제1항에 있어서,
    상기 뉴럴 네트워크는
    제1 저 선량 엑스선 전산단층 영상을 입력으로 상기 제1 저 선량 엑스선 전산단층 영상에 대응하는 제1 일반 선량 엑스선 전산단층 영상을 출력하는 제1 뉴럴 네트워크;
    상기 제1 뉴럴 네트워크의 출력 영상을 입력으로 상기 출력 영상에 대응하는 제2 저 선량 엑스선 전산단층 영상을 출력하는 제2 뉴럴 네트워크;
    제2 일반 엑스선 전산단층 영상을 입력으로 상기 제2 일반 선량 엑스선 전산단층 영상에 대응하는 제3 저 선량 엑스선 전산단층 영상을 출력하는 제3 뉴럴 네트워크;
    상기 제3 뉴럴 네트워크의 출력 영상을 입력으로 상기 출력 영상에 대응하는 제3 일반 엑스선 전산단층 영상을 출력하는 제4 뉴럴 네트워크;
    상기 제1 저 선량 엑스선 전산단층 영상과 상기 제3 뉴럴 네트워크의 출력 영상을 구별하는 제1 판별기; 및
    상기 제2 일반 엑스선 전산단층 영상과 상기 제1 뉴럴 네트워크의 출력 영상을 구별하는 제2 판별기
    를 포함하는 것을 특징으로 하는 영상 처리 방법.
  6. 저 선량 엑스선 전산단층(CT) 영상을 수신하는 단계; 및
    준지도 학습(semi-supervised learning) 기반의 노이즈를 제거하는 뉴럴 네트워크를 이용하여 상기 저 선량 엑스선 전산단층 영상으로부터 노이즈를 제거된 전산단층 영상으로 복원하는 단계
    를 포함하는 영상 처리 방법.
  7. 제6항에 있어서,
    상기 뉴럴 네트워크는
    컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
  8. 저 선량 엑스선 전산단층(CT) 영상을 수신하는 수신부; 및
    비매칭 데이터를 이용하여 학습된 준지도 학습(semi-supervised learning) 기반의 뉴럴 네트워크를 이용하여 상기 저 선량 엑스선 전산단층 영상으로부터 노이즈를 제거함으로써, 상기 저 선량 엑스선 전산단층 영상에 대응하는 일반(routine) 선량 엑스선 전산단층 영상으로 복원하는 복원부
    를 포함하는 영상 처리 장치.
  9. 제8항에 있어서,
    상기 뉴럴 네트워크는
    저 선량 엑스선 전산단층 영상과 일반 선량 엑스선 전산단층 영상에 대하여, 미리 정의된 식별 손실(identity loss), 사이클 손실(cyclic loss) 및 적대 손실(adversarial loss)에 기초하여 학습되는 것을 특징으로 하는 영상 처리 장치.
  10. 제8항에 있어서,
    상기 영상 처리 장치는
    촬영된 제1 저 선량 엑스선 전산단층 영상과 제1 뉴럴 네트워크를 이용하여 출력된 노이즈를 제거한 제1 일반 선량 엑스선 전산단층 영상 간의 식별 손실(identity loss), 상기 제1 저 선량 엑스선 전산단층 영상과 상기 제1 일반 선량 엑스선 전산단층 영상을 입력으로 하는 제2 뉴럴 네트워크를 이용하여 출력된 노이즈가 포함된 제2 저 선량 엑스선 전산단층 영상 간의 사이클 손실(cyclic loss) 및 상기 제1 저 선량 엑스선 전산단층 영상과 상기 제2 뉴럴 네트워크를 이용하여 출력되는 촬영된 제2 일반 선량 엑스선 전산단층 영상에 대한 제3 저 선량 엑스선 전산단층 영상을 구별하기 위한 판별기의 적대 손실(adversarial loss)에 기초하여 상기 제1 뉴럴 네트워크, 상기 제2 뉴럴 네트워크 및 상기 판별기를 학습하고,
    상기 복원부는
    상기 학습된 제1 뉴럴 네트워크를 이용하여 상기 저 선량 엑스선 전산단층 영상에 대응하는 일반 선량 엑스선 전산단층 영상으로 복원하는 것을 특징으로 하는 것을 특징으로 하는 영상 처리 장치.
  11. 제8항에 있어서,
    상기 뉴럴 네트워크는
    컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.
  12. 제8항에 있어서,
    상기 뉴럴 네트워크는
    제1 저 선량 엑스선 전산단층 영상을 입력으로 상기 제1 저 선량 엑스선 전산단층 영상에 대응하는 제1 일반 선량 엑스선 전산단층 영상을 출력하는 제1 뉴럴 네트워크;
    상기 제1 뉴럴 네트워크의 출력 영상을 입력으로 상기 출력 영상에 대응하는 제2 저 선량 엑스선 전산단층 영상을 출력하는 제2 뉴럴 네트워크;
    제2 일반 엑스선 전산단층 영상을 입력으로 상기 제2 일반 선량 엑스선 전산단층 영상에 대응하는 제3 저 선량 엑스선 전산단층 영상을 출력하는 제3 뉴럴 네트워크;
    상기 제3 뉴럴 네트워크의 출력 영상을 입력으로 상기 출력 영상에 대응하는 제3 일반 엑스선 전산단층 영상을 출력하는 제4 뉴럴 네트워크;
    상기 제1 저 선량 엑스선 전산단층 영상과 상기 제3 뉴럴 네트워크의 출력 영상을 구별하는 제1 판별기; 및
    상기 제2 일반 엑스선 전산단층 영상과 상기 제1 뉴럴 네트워크의 출력 영상을 구별하는 제2 판별기
    를 포함하는 것을 특징으로 하는 영상 처리 장치.
KR1020180121769A 2018-10-12 2018-10-12 뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치 KR102220029B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180121769A KR102220029B1 (ko) 2018-10-12 2018-10-12 뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치
US16/409,541 US11037336B2 (en) 2018-10-12 2019-05-10 Method for processing unmatched low-dose X-ray computed tomography image using neural network and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180121769A KR102220029B1 (ko) 2018-10-12 2018-10-12 뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치

Publications (3)

Publication Number Publication Date
KR20200044222A true KR20200044222A (ko) 2020-04-29
KR102220029B1 KR102220029B1 (ko) 2021-02-25
KR102220029B9 KR102220029B9 (ko) 2021-11-12

Family

ID=70160308

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180121769A KR102220029B1 (ko) 2018-10-12 2018-10-12 뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치

Country Status (2)

Country Link
US (1) US11037336B2 (ko)
KR (1) KR102220029B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200127702A (ko) * 2019-05-03 2020-11-11 한국광기술원 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법
KR20220010969A (ko) * 2020-07-20 2022-01-27 연세대학교 산학협력단 자기지도 학습 방식의 반복적 노이즈 저감 방법
KR20220040872A (ko) * 2020-09-24 2022-03-31 충남대학교병원 영상처리방법 및 이를 이용한 영상처리장치
WO2022203119A1 (ko) * 2021-03-25 2022-09-29 주식회사 에어스 메디컬 의료 영상 복원 및 전송 시스템 및 그 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037121A1 (en) 2018-08-15 2020-02-20 Hyperfine Research, Inc. Deep learning techniques for suppressing artefacts in magnetic resonance images
US11185249B2 (en) 2019-03-14 2021-11-30 Hyperfine, Inc. Self ensembling techniques for generating magnetic resonance images from spatial frequency data
DE102019207238A1 (de) * 2019-05-17 2020-11-19 Siemens Healthcare Gmbh Bereitstellen eines Ergebnisbilddatensatzes
US11366979B2 (en) * 2019-11-14 2022-06-21 Alibaba Group Holding Limited Using selected components of frequency domain image data in artificial intelligence tasks
US12064281B2 (en) * 2020-03-18 2024-08-20 The Regents Of The University Of California Method and system for denoising CT images using a neural network
US11663840B2 (en) * 2020-03-26 2023-05-30 Bloomberg Finance L.P. Method and system for removing noise in documents for image processing
CN111861910A (zh) * 2020-06-29 2020-10-30 深圳高性能医疗器械国家研究院有限公司 一种ct图像降噪系统及方法
CN111860836A (zh) * 2020-07-17 2020-10-30 深圳高性能医疗器械国家研究院有限公司 一种自监督学习方法及应用
US12026853B2 (en) * 2020-08-03 2024-07-02 The Board Of Trustees Of The Leland Stanford Junior University Deep learning based denoising and artifact reduction in cardiac CT cine imaging
CN112150378B (zh) * 2020-09-18 2022-06-24 浙江明峰智能医疗科技有限公司 基于自逆卷积生成对抗网络的低剂量全身pet图像增强方法
US20220130079A1 (en) * 2020-10-23 2022-04-28 Siemens Medical Solutions Usa, Inc. Systems and methods for simultaneous attenuation correction, scatter correction, and de-noising of low-dose pet images with a neural network
CN112233200A (zh) * 2020-11-05 2021-01-15 福建自贸试验区厦门片区Manteia数据科技有限公司 剂量确定方法及装置
CN112348936B (zh) * 2020-11-30 2023-04-18 华中科技大学 一种基于深度学习的低剂量锥束ct图像重建方法
WO2022120737A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 用于低剂量pet重建的多任务学习型生成式对抗网络生成方法及系统
CN112634390B (zh) * 2020-12-17 2023-06-13 深圳先进技术研究院 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置
US11890124B2 (en) 2021-02-01 2024-02-06 Medtronic Navigation, Inc. Systems and methods for low-dose AI-based imaging
CN112837244B (zh) * 2021-03-11 2022-07-22 太原科技大学 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法
CN113797450A (zh) * 2021-05-27 2021-12-17 苏州雷泰医疗科技有限公司 一种放疗计划强度分布优化方法、装置及放射治疗设备
CN113298807A (zh) * 2021-06-22 2021-08-24 北京航空航天大学 一种计算机断层扫描图像处理方法及装置
WO2023110291A1 (en) * 2021-12-15 2023-06-22 Asml Netherlands B.V. A framework for condition tuning and image processing for metrology applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130245429A1 (en) * 2012-02-28 2013-09-19 Siemens Aktiengesellschaft Robust multi-object tracking using sparse appearance representation and online sparse appearance dictionary update
US20150201895A1 (en) * 2012-08-31 2015-07-23 The University Of Chicago Supervised machine learning technique for reduction of radiation dose in computed tomography imaging
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20180144214A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101636207B1 (ko) * 2015-05-07 2016-07-05 한국과학기술원 저 선량 엑스선 전산단층 촬영의 해석적 원리를 이용한 반복 복원 기법 개발
US10234848B2 (en) * 2017-05-24 2019-03-19 Relativity Space, Inc. Real-time adaptive control of additive manufacturing processes using machine learning
CN107705261B (zh) * 2017-10-09 2020-03-17 东软医疗系统股份有限公司 一种图像重建方法和装置
US11232541B2 (en) * 2018-10-08 2022-01-25 Rensselaer Polytechnic Institute CT super-resolution GAN constrained by the identical, residual and cycle learning ensemble (GAN-circle)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130245429A1 (en) * 2012-02-28 2013-09-19 Siemens Aktiengesellschaft Robust multi-object tracking using sparse appearance representation and online sparse appearance dictionary update
US20150201895A1 (en) * 2012-08-31 2015-07-23 The University Of Chicago Supervised machine learning technique for reduction of radiation dose in computed tomography imaging
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20180144214A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200127702A (ko) * 2019-05-03 2020-11-11 한국광기술원 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법
KR20220010969A (ko) * 2020-07-20 2022-01-27 연세대학교 산학협력단 자기지도 학습 방식의 반복적 노이즈 저감 방법
KR20220040872A (ko) * 2020-09-24 2022-03-31 충남대학교병원 영상처리방법 및 이를 이용한 영상처리장치
WO2022203119A1 (ko) * 2021-03-25 2022-09-29 주식회사 에어스 메디컬 의료 영상 복원 및 전송 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102220029B1 (ko) 2021-02-25
US11037336B2 (en) 2021-06-15
KR102220029B9 (ko) 2021-11-12
US20200118306A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
KR102220029B1 (ko) 뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치
Kang et al. Cycle‐consistent adversarial denoising network for multiphase coronary CT angiography
JP6855223B2 (ja) 医用画像処理装置、x線コンピュータ断層撮像装置及び医用画像処理方法
JP7245364B2 (ja) 変形可能な層を有するCycleGANを用いたsCT画像生成
Arndt et al. Deep learning CT image reconstruction in clinical practice
KR102033743B1 (ko) 딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법
JP2021521993A (ja) 敵対的生成ネットワークを使用した画像強調
CN112969412B (zh) 深谱团注剂跟踪
CN111340903B (zh) 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统
CN112419173A (zh) 一种由pet图像生成ct图像的深度学习框架和方法
Zhou et al. Limited angle tomography reconstruction: synthetic reconstruction via unsupervised sinogram adaptation
Savanier et al. Deep unfolding of the DBFB algorithm with application to ROI CT imaging with limited angular density
Li et al. 3D coronary artery reconstruction by 2D motion compensation based on mutual information
JP2024507767A (ja) コントラスト補正機械学習システムのための訓練データ合成器
Wu et al. Unsharp structure guided filtering for self-supervised low-dose CT imaging
Jing et al. Inter-slice consistency for unpaired low-dose CT denoising using boosted contrastive learning
EP3935605A1 (en) Deep reinforcement learning for computer assisted reading and analysis
Zhou et al. Low-dose CT reconstruction by self-supervised learning in the projection domain
JP2024507766A (ja) 機械学習によるコントラスト強調
KR20180003400A (ko) 의료 영상 처리 장치 및 방법
Taubmann et al. Convex temporal regularizers in cardiac C-arm CT
KR102643601B1 (ko) 가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치
Júnior et al. Ensemble of convolutional neural networks for sparse-view cone-beam computed tomography
Kshirsagar et al. Generative AI-Assisted Novel View Synthesis of Coronary Arteries for Angiography
Haase et al. Make the Most of Time Temporal Extension of the iTV Algorithm for 4D Cardiac C-Arm CT

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
G170 Re-publication after modification of scope of protection [patent]