KR102643601B1 - 가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치 - Google Patents

가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR102643601B1
KR102643601B1 KR1020210130686A KR20210130686A KR102643601B1 KR 102643601 B1 KR102643601 B1 KR 102643601B1 KR 1020210130686 A KR1020210130686 A KR 1020210130686A KR 20210130686 A KR20210130686 A KR 20210130686A KR 102643601 B1 KR102643601 B1 KR 102643601B1
Authority
KR
South Korea
Prior art keywords
computed tomography
reversible
dose
low
generator
Prior art date
Application number
KR1020210130686A
Other languages
English (en)
Other versions
KR20230001483A (ko
Inventor
예종철
권태성
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US17/848,689 priority Critical patent/US20220414954A1/en
Publication of KR20230001483A publication Critical patent/KR20230001483A/ko
Application granted granted Critical
Publication of KR102643601B1 publication Critical patent/KR102643601B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pulmonology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치가 제시된다. 일 실시예에 따른 컴퓨터 장치에 의해 수행되는 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법은, 영상을 복원하는 가역적(invertible) 생성자를 제공하는 단계; 및 상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 단계를 포함하여 이루어질 수 있다.

Description

가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치{METHOD AND APPARATUS FOR LOW-DOSE X-RAY COMPUTED TOMOGRAPHY IMAGE PROCESSING BASED ON EFFICIENT UNSUPERVISED LEARNING USING INVERTIBLE NEURAL NETWORK}
아래의 실시예들은 뉴럴 네트워크 기반의 저 선량 엑스선 전산단층 영상 복원 기술에 관한 것으로, 보다 구체적으로 가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치에 관한 것이다.
엑스선(X-RAY) 전산단층 촬영법(Computed Tomography, CT)은 짧은 스캔 시간 내에 고해상도 이미징의 이점을 통해 가장 일반적으로 사용되는 의료 이미징 방식 중 하나이다. 그러나 과도한 엑스선 복사는 잠재적으로 암 발생률을 증가시킬 수 있으므로 저 선량 CT 스캔은 환자에 대한 방사선량을 최소화하기 위해 광범위하게 연구되었다. 안타깝게도 저 선량 CT 이미지에 다양한 아티팩트(artifact)가 나타나 진단 값이 크게 감소한다.
최근, 성능이 개선된 저 선량 CT 노이즈 제거를 위한 딥러닝 접근법이 제안되었다. 이러한 작업의 대부분은 지도 학습에 기초하고 있으며, 여기서 신경망은 쌍으로 된 저 선량 CT(low-dose CT, LDCT) 및 일반 선량 CT(standard-dose CT, SDCT) 이미지로 학습된다. 그러나 저 선량과 고 선량의 이미지를 동시에 획득하는 것은 피험자에 대한 방사선 피폭 증가로 인해 종종 어렵다.
따라서 일치된 LDCT와 SDCT 이미지를 필요로 하지 않는 비지도 학습 접근법이 CT 커뮤니티의 주요 연구 초점 중 하나가 되었다. 특히, 기존에는 쌍을 이루지 않은 LDCT와 SDCT 이미지로 네트워크를 학습시키는 저 선량 CT 노이즈 제거를 위해 순환 생성적 적대 신경망(cycle-consistency generative adversarial network, CycleGAN) 접근법이 제안되었다. 이러한 쌍이 아닌 학습을 활성화하려면 LDCT에서 SDCT로의 순방향 매핑을 위한 생성자와 SDCT에서 LDCT로의 역방향 매핑을 위한 생성자 2 개가 필요하다. 그런 다음, 연속적인 정방향 및 역방향 매핑 적용을 거친 이미지가 원래 이미지로 되돌아가도록 사이클 일관성이 적용된다. 실제로 최근의 이론적 연구는 이러한 CycleGAN 아키텍처가 소스와 타겟 도메인 모두에서 경험적 측정과 전송된 측정 사이의 통계적 거리가 동시에 최소화되는 최적 전송 문제의 이중 공식으로 나타난다는 것을 보여준다.
학습을 위해 2 개의 생성자가 필요하지만 추론 시에는 순방향 생성자만 사용된다. 그럼에도 불구하고 역방향 매핑 생성자는 학습 가능한 파라미터와 메모리를 순방향 매핑과 유사하게 요구하므로 CycleGAN 아키텍처는 비효율적이다. 나아가, 융합을 위해 생성자(generator) 2 개와 구분자(discriminator) 2 개를 동시에 학습해야 하는데, 이를 위해서는 높은 수준의 학습 기술과 노하우가 필요하다.
이 문제를 완화하기 위해 Gu et al.(비특허문헌 1)는 적응형 인스턴스 정규화를 통해 전환 가능한 CycleGAN이 제안했다(AdaIN). 주요 아이디어는 경량 AdaIN 코드 생성자에 의해 생성되는 AdaIN 코드를 변경하기만 하면 단일 생성자를 정방향 또는 역방향 생성자로 전환할 수 있다는 것이다. 그러나, 이 전환 가능한 CycleGAN 아키텍처는 LDCT 및 SDCT 도메인에 대한 가짜 및 실제 샘플을 구별하기 위해 여전히 2 개의 구분자가 필요하며, 개별 복잡도는 여전히 생성자만큼 높다.
J. Gu and J. C. Ye, "AdaIN-based tunable CycleGAN for efficient unsupervised low-dose CT denoising," IEEE Transactions on Computational Imaging, vol. 7, pp. 73-85, 2021. L. Dinh, D. Krueger, and Y. Bengio, "NICE: Non-linear independent components estimation," arXiv preprint arXiv:1410.8516, 2014. J. Su and G. Wu, "f-VAEs: Improve VAEs with conditional flows," arXiv preprint arXiv:1809.05861, 2018. E. Cha, H. Chung, E. Y. Kim, and J. C. Ye, "Unpaired training of deep learning tMRA for flexible spatio-temporal resolution," IEEE Transactions on Medical Imaging, vol. 40, no. 1, pp. 166-179, 2021. D. P. Kingma and P. Dhariwal, "Glow: Generative flow with invertible 1x1 convolutions," in NeurIPS, 2018.
실시예들은 가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치에 관하여 기술하며, 보다 구체적으로 영상에서 영상을 복원하는 가역적 생성자를 제공하고, 순환 생성적 적대 신경망(CycleGAN)에 적용하여 일반 전산단층 촬영 영상에서 저 선량 전산단층 촬영 영상으로 되돌리는 과정을 생략할 수 있는 기술을 제공한다.
실시예들은 가역적 생성자를 제공하고 이를 CycleGAN에 적용하여 비매칭된 데이터로도 학습이 가능하며 2개의 뉴럴 네트워크만으로도 비지도 학습이 가능함으로써, 저 선량 전산단층 복원 영상의 화질을 효과적으로 개선함과 동시에 학습에 필요한 학습 가능한 파라미터(learnable parameter)의 수를 기존보다 1/10(십분의 일)만큼 사용하는, 가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치를 제공하는데 있다.
일 실시예에 따른 컴퓨터 장치에 의해 수행되는 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법은, 영상을 복원하는 가역적(invertible) 생성자를 제공하는 단계; 및 상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 단계를 포함하여 이루어질 수 있다.
상기 가역적 생성자를 제공함에 따라 단일 생성자 뉴럴 네트워크와 단일 구분자 뉴럴 네크워크를 이용하여 비지도 학습 기반의 저 선량 엑스선 전산단층 촬영 영상의 화질을 개선할 수 있다.
상기 가역적 생성자를 제공하는 단계는, 커플링 층(coupling layer)을 포함하는 가역적 블록을 제공할 수 있다.
상기 커플링 층을 통해 상기 가역적 생성자가 가역적 연산에서 영상의 분포를 학습하도록 할 수 있다.
상기 가역적 생성자를 제공하는 단계는, 입력 영상에 대해 스퀴즈(squeeze) 연산 및 언스퀴즈(unsqueeze) 연산을 수행하는 단계; 및 상기 스퀴즈(squeeze) 연산 및 상기 언스퀴즈(unsqueeze) 연산 사이에서 가역적 블록을 통해 가역적 연산을 수행하는 단계를 포함할 수 있다.
상기 가역적 블록은, 가역적 1X1 컨볼루션과 안정적인 추가 결합 가능한 커플링 층을 포함할 수 있다.
상기 학습하는 단계는, 상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 경우, 동시에 상기 가역적 생성자의 역은 다시 상기 일반 전산단층 촬영 영상에서 상기 저 선량 전산단층 촬영 영상으로 되돌리는 역할을 수행할 수 있다.
상기 학습하는 단계는, 상기 가역적 생성자는 웨이블릿(Wavelet) 잔여 영상을 사용하여 학습하며, 노이즈 패턴을 획득한 후 상기 노이즈 패턴을 제외시켜 최종 영상을 얻을 수 있다.
다른 실시예에 따른 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 장치는, 영상을 복원하는 가역적(invertible) 생성자를 제공하는 가역적 생성자 제공부; 및 상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 학습부를 포함하여 이루어질 수 있다.
상기 가역적 생성자를 제공함에 따라 단일 생성자 뉴럴 네트워크와 단일 구분자 뉴럴 네크워크를 이용하여 비지도 학습 기반의 저 선량 엑스선 전산단층 촬영 영상의 화질을 개선할 수 있다.
상기 가역적 생성자 제공부는, 커플링 층(coupling layer)을 포함하는 가역적 블록을 제공할 수 있다.
상기 커플링 층을 통해 상기 가역적 생성자가 가역적 연산에서 영상의 분포를 학습하도록 할 수 있다.
상기 가역적 생성자 제공부는, 입력 영상에 대해 스퀴즈(squeeze) 연산 및 언스퀴즈(unsqueeze) 연산을 수행하고, 상기 스퀴즈(squeeze) 연산 및 상기 언스퀴즈(unsqueeze) 연산 사이에서 가역적 블록을 통해 가역적 연산을 수행할 수 있다.
상기 가역적 블록은, 가역적 1X1 컨볼루션과 안정적인 추가 결합 가능한 커플링 층을 포함할 수 있다.
상기 학습부는, 상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 경우, 동시에 상기 가역적 생성자의 역은 다시 상기 일반 전산단층 촬영 영상에서 상기 저 선량 전산단층 촬영 영상으로 되돌리는 역할을 수행할 수 있다.
상기 학습부는, 상기 가역적 생성자가 웨이블릿(Wavelet) 잔여 영상을 사용하여 학습하며, 노이즈 패턴을 획득한 후 상기 노이즈 패턴을 제외시켜 최종 영상을 얻을 수 있다.
또 다른 실시예에 따른 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 장치에 이용되는 가역적 뉴럴 네트워크는, 영상을 복원하는 커플링 층(coupling layer)을 포함하는 가역적 블록을 포함하고, 입력 영상에 대해 스퀴즈(squeeze) 연산 및 언스퀴즈(unsqueeze) 연산을 수행하며, 상기 스퀴즈(squeeze) 연산 및 상기 언스퀴즈(unsqueeze) 연산 사이에서 상기 가역적 블록을 통해 가역적 연산을 수행할 수 있다.
상기 가역적 블록은, 가역적 1X1 컨볼루션과 안정적인 추가 결합 가능한 상기 커플링 층을 포함할 수 있다.
실시예들에 따르면 가역적 생성자를 제공하고 이를 CycleGAN에 적용하여 비매칭된 데이터로도 학습이 가능하며 2개의 뉴럴 네트워크만으로도 비지도 학습이 가능함으로써, 저 선량 전산단층 복원 영상의 화질을 효과적으로 개선함과 동시에 학습에 필요한 학습 가능한 파라미터(learnable parameter)의 수를 기존보다 1/10(십분의 일)만큼 사용하는, 가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치를 제공할 수 있다.
실시예들에 따르면 필요 연산량을 획기적으로 절감하여 스마트폰을 비롯한 이동식 매체들에도 쉽게 저장 및 관리가 간편한 수준으로 뉴럴 네트워크의 크기가 가벼워진다.
도 1은 일반적인 CycleGAN 기반 저 선량 전산단층 촬영 영상 복원 기술을 나타내는 도면이다.
도 2는 일 실시예에 따른 가역적 생성자를 사용한 CycleGAN 학습 기술의 학습 과정을 나타내는 도면이다.
도 3은 일 실시예에 따른 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 장치를 나타내는 블록도이다.
도 5는 일반적인 최적 전송 기반 기존 CycleGAN 학습의 해석을 나타내는 도면이다.
도 6은 일 실시예에 따른 최적 전송 기반 가역적 생성자를 사용한 CycleGAN 학습 기술의 학습의 해석을 나타내는 도면이다.
도 7은 일 실시예에 따른 가역적 블록 및 가역적 생성자의 아키텍처를 나타내는 도면이다.
도 8은 일 실시예에 따른 squeeze 연산 및 unsqueeze 연산을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 가역적 1X1 컨볼루션 및 그 역을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 영상을 다루는 커플링 층의 순방향 연산의 방법을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 영상을 다루는 커플링 층의 역방향 연산의 방법을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 웨이블릿 잔여 영상을 생성하는 방법을 나타내는 도면이다.
도 13은 일 실시예에 따른 웨이블릿 잔여 영상을 사용하여 학습되는 네트워크를 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 커플링 층에 있는 뉴럴 네트워크의 아키텍처를 나타내는 도면이다.
도 15는 일 실시예에 따른 PatchGAN 구분자의 아키텍처를 나타내는 도면이다.
도 16은 기존의 순환 생성적 적대 신경망과 제안한 방법의 저 선량 전산단층 촬영 영상의 노이즈 제거 결과를 나타내는 도면이다.
도 17은 일 실시예에 따른 가역적 생성자가 적절한 역방향 연산을 했는지 확인한 결과를 나타내는 도면이다.
도 18은 일 실시예에 따른 노이즈 제거 결과를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
저 선량 전산단층 촬영법(X-ray CT)은 기존 엑스선 전산단층 촬영법의 방사선 피폭량을 줄여 환자의 암 발병 위험률을 낮출 수 있다. 하지만 저 선량 전산단층 촬영된 영상에는 일부 정보가 손실되거나 신호의 노이즈가 포함되는 등 영상 질이 매우 저하되는 현상이 나타난다.
최근 CycleGAN은 쌍으로 구성된 학습 데이터셋 없이도 저 선량 엑스선 전산단층 촬영법(CT)을 위한 고성능 초고속 노이즈 제거를 제공하는 것으로 나타났다. CycleGAN은 사이클 일관성이 보장되었기 때문에 가능했지만, CycleGAN은 상당한 GPU 리소스와 학습을 위한 기교를 요구하면서 사이클 일관성을 적용하도록 2개의 생성자(generator)와 2개의 구분자(discriminator)를 필요로 한다. 적응형 인스턴스 정규화(AdaIN)를 가지는 전환 가능한 CycleGAN의 최근 제안은 단일 생성자를 사용하여 문제를 부분적으로 완화한다. 그러나 학습을 위해서는 2 개의 구분자와 추가 AdaIN 코드 생성자가 여전히 필요하다. 이러한 문제를 해결하기 위해, 본 실시예에서는 단일 생성자와 구분자로 구성되지만 여전히 사이클 일관성을 보장하는 새로운 Cycle-free CycleGAN 아키텍처를 제시한다.
Cycle-free CycleGAN은 가역적(invertible) 생성자를 사용하면 사이클 일관성 조건이 자동으로 충족되고, CycleGAN 공식에서 추가적인 구분자가 제거된다는 관측에서 비롯된다. 가역적 생성자의 효율성을 높이기 위해 웨이블릿(Wavelet) 잔여 도메인(residual domain)에 네트워크를 구현한다. 실시예들에 따르면 Cycle-free CycleGAN은 다양한 레벨의 저 선량 CT 이미지를 사용한 광범위한 실험을 통해 기존 CycleGAN에 비해 학습 가능한 파라미터의 10%만 사용하여 노이즈 제거 성능을 크게 향상시킬 수 있음을 확인할 수 있다.
기존의 저 선량 엑스선 전산단층 촬영 영상 처리 방법의 경우 매칭된 데이터가 필요한 지도 학습 기반의 뉴럴 네트워크 혹은 비매칭된 데이터로도 학습이 가능한 4개 이상의 뉴럴 네트워크를 필요로 하는 비지도 학습 기반인 반면, 본 실시예에 따른 저 선량 엑스선 전산단층 촬영 영상 처리 방법의 경우, 가역적 생성자를 개발하고 이를 CycleGAN에 적용하여 비매칭된 데이터로도 학습이 가능하며 2개의 뉴럴 네트워크만으로도 비지도 학습이 가능한 기법이다. 아래에서 Cycle-free CycleGAN에 대해 보다 구체적으로 설명한다.
도 1은 일반적인 CycleGAN 기반 저 선량 전산단층 촬영 영상 복원 기술을 나타내는 도면이다.
도 1을 참조하면, 순환 생성적 적대 신경망(CycleGAN)은 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하는 생성자 뉴럴 네트워크와 구분자 뉴럴 네크워크, 그리고 다시 일반 전산단층 촬영 영상에서 저 선량 전산단층 촬영 영상으로 되돌리는 생성자 뉴럴 네트워크와 구분자 뉴럴 네트워크, 총 4 개의 뉴럴 네트워크를 사용하는 비효율적인 구조로 이루어져 있다는 단점을 가지고 있다.
저 선량 CT 노이즈 제거를 위한 CycleGAN 연구의 최종 목표 중 하나는 최적 전송 관점에서 CycleGAN의 최적성을 유지하면서 불필요한 생성자와 구분자를 제거하는 것이다. 실제로, 본 발명의 가장 중요한 기여 중 하나는, 가역적 생성자 아키텍처를 사용하면 CycleGAN 프레임워크에 영향을 미치지 않고 자동으로 사이클 일관성을 충족시키며 구분자 중 하나를 완전히 제거할 수 있다는 것을 보여주는 것이다. 즉, 본 실시예에서는 영상에서 영상을 복원하는 가역적 생성자를 제공하고, CycleGAN에 적용하여, 일반 전산단층 촬영 영상에서 저 선량 전산단층 촬영 영상으로 되돌리는 과정을 생략할 수 있는 기술을 제안한다. 한편, 아래에서 사용되는 용어 영상은 이미지를 포함하는 의미로 사용될 수 있다.
도 2는 일 실시예에 따른 가역적 생성자를 사용한 CycleGAN 학습 기술의 학습 과정을 나타내는 도면이다.
도 2를 참조하면, 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습시킬 경우, 동시에 가역적 생성자의 역은 다시 일반 전산단층 촬영 영상에서 저 선량 전산단층 촬영 영상으로 되돌리는 역할을 수행할 수 있다. 이는 최적 전송(optimal transport) 기반의 해석에서도 이해할 수 있다.
가역성 조건을 충족하기 위해, 일 실시예에 따른 생성자는 정규화 흐름에 대해 원래 제안된 커플링 층을 사용하여 구현된다. 그러면 일 실시예에 따른 생성자는 가짜 SDCT와 실제 SDCT 이미지를 구별하는 단 하나의 구분자로 학습된다. 저 선량 CT 노이즈 제거에 대해 가역적 생성자가 충분히 발현할 수 있도록 웨이블릿 잔여 도메인을 사용하여 네트워크를 학습한다. 명시적인 사이클 일관성이 없음에도 불구하고, 일 실시예에 따른 알고리즘은 CycleGAN의 최적성을 유지하고 기존 CycleGAN에 비해 학습 가능한 파라미터의 10%만으로 최첨단 노이즈 제거 기술을 제공한다. 명시적인 사이클 일관성이 없기 때문에, 여기에서는 본 실시예에 따른 방법을 Cycle-free CycleGAN이라 하기로 한다.
도 3은 일 실시예에 따른 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법을 나타내는 흐름도이다.
도 3을 참조하면, 일 실시예에 따른 컴퓨터 장치에 의해 수행되는 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법은, 영상을 복원하는 가역적(invertible) 생성자를 제공하는 단계(S310), 및 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 단계(S320)를 포함하여 이루어질 수 있다.
이와 같이, 실시예들은 가역적 생성자를 제공함에 따라 단일 생성자 뉴럴 네트워크와 단일 구분자 뉴럴 네크워크를 이용하여 비지도 학습 기반의 저 선량 엑스선 전산단층 촬영 영상의 화질을 개선할 수 있다.
실시예들에 따르면 가역적 뉴럴 네트워크를 활용해 비지도 학습에서 불필요했던 과정을 생략하는 기법을 저 선량 엑스선 전산단층 촬영 영상의 화질개선에 시도함으로써, 실제 기존 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상의 화질개선 기법 대비 1/10 수준으로 계산복잡도를 줄일 수 있다.
일 실시예에 따른 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법은 일 실시예에 따른 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 장치를 예를 들어 설명할 수 있다.
도 4는 일 실시예에 따른 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 장치를 나타내는 블록도이다.
도 4를 참조하면, 일 실시예에 따른 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 장치(400)는 가역적 생성자 제공부(410) 및 학습부(420)를 포함하여 이루어질 수 있다.
단계(S310)에서, 가역적 생성자 제공부(410)는 영상을 복원하는 가역적 생성자를 제공할 수 있다. 실시예들은 가역적 생성자를 제공함에 따라 단일 생성자 뉴럴 네트워크와 단일 구분자 뉴럴 네크워크를 이용하여 비지도 학습 기반의 저 선량 엑스선 전산단층 촬영 영상의 화질을 개선할 수 있다.
가역적 생성자 제공부(410)는 커플링 층(coupling layer)을 포함하는 가역적 블록을 제공할 수 있다. 여기서, 커플링 층을 통해 가역적 생성자가 가역적 연산에서 영상의 분포를 학습하도록 할 수 있다.
특히, 가역적 생성자 제공부(410)는 입력 영상에 대해 스퀴즈(squeeze) 연산 및 언스퀴즈(unsqueeze) 연산을 수행하고, 스퀴즈(squeeze) 연산 및 언스퀴즈(unsqueeze) 연산 사이에서 가역적 블록을 통해 가역적 연산을 수행할 수 있다. 여기서, 가역적 블록은 가역적 1X1 컨볼루션과 안정적인 추가 결합 가능한 커플링 층을 포함할 수 있다.
단계(S320)에서, 학습부(420)는 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습할 수 있다. 이 때, 학습부(420)는 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 경우, 동시에 가역적 생성자의 역은 다시 일반 전산단층 촬영 영상에서 저 선량 전산단층 촬영 영상으로 되돌리는 역할을 수행할 수 있다.
학습부(420)는 가역적 생성자가 웨이블릿(Wavelet) 잔여 영상을 사용하여 학습하며, 노이즈 패턴을 획득한 후 노이즈 패턴을 제외시켜 최종 영상을 얻을 수 있다.
이와 같이, 실시예들에 따르면 영상에서 영상을 복원하는 가역적 생성자 뉴럴 네트워크를 제공하고, CycleGAN에 적용하여 일반 전산단층 촬영 영상에서 저 선량 전산단층 촬영 영상으로 되돌리는 과정(2 개의 뉴럴 네트워크)을 생략할 수 있는 기술을 제공할 수 있다. 실시예들은 저 선량 전산단층 복원 영상의 화질을 효과적으로 개선함과 동시에 학습에 필요한 학습 가능한 파라미터(learnable parameter)의 수를 기존보다 1/10(십분의 일)만큼 사용한다는 특징을 가진다.
아래에서 일 실시예에 따른 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치를 보다 상세히 설명한다.
정규화 흐름
일 실시예에 따른 방법은 정규화 흐름(normalizing flow, NF) 또는 가역적 흐름(invertible flow)에서 영감을 받아서, 실시예들로부터의 유사점과 차이점을 강조하기 위해 간략히 검토한다. 정규화 흐름(NF)(비특허문헌 2)의 최초 도출은 Cycle-free CycleGAN과의 연결을 밝히기 어렵기 때문에, 여기서는 f-VAE(비특허문헌 3)에서 영감을 얻은 새로운 도출을 제시한다.
먼저, X와 Z가 각각 주변 공간과 잠재 공간을 나타낸다고 가정한다. 고전적 변동 추론에서, 모델 분포 는 잠재 공간 분포 를 조건부 분포 계열과 결합하여 얻으며, 이는 흥미로운 하한을 이끌어낼 수 있고, 다음 식과 같이 나타낼 수 있다.
[수학식 1]
[수학식 2]
여기서, 은 Kullback-Leibler(KL) 발산을 나타낸다. [수학식 1]의 하한을 증거 하한(evidence lower bound, ELBO) 또는 변동 하한(variational lower bound)이라고 한다. 그런 다음, 변동 추론의 목표는 하한을 최대화하거나 증거 하한(ELBO)을 최소화하는 와 후측의 를 찾으려 한다.
증거 하한(ELBO)에 대한 후측의 의 다양한 선택 중에서 후측이 다음 식과 같은 형태가 가장 자주 사용된다(비특허문헌 3).
[수학식 3]
여기서, r(u)는 0-평균 단위 분산 가우시안(Gaussian)이며, 는 노이즈 u외에 지정된 입력 x X에 대해 에 의해 파라미터화된 인코더 함수이다. [수학식 3]의 지정된 인코더의 경우 [수학식 2]의 첫 번째 항을 (비특허문헌 3)으로 단순화할 수 있으며, 다음 식과 같이 나타낼 수 있다.
[수학식 4]
여기서, 는 에 의해 파라미터화된 디코더 함수이다.
따라서 [수학식 2]는 실제로 주변(ambient) 및 잠재 공간(latent space)에서의 거리의 합계이다. 특히, 첫 번째 항은 X의 l2 거리를 나타내는 반면, 두 번째 항은 Z의 통계적 거리를 나타내는 KL 발산 항으로 [수학식 3]에서 다음 식과 같이 더 단순화할 수 있다.
또한, VAE는 다음과 같은 형태의 인코더 함수를 선택하며, 이를 재파라미터화 트릭(reparametrization trick)이라고 한다.
[수학식 5]
여기서, 는 노이즈 표준 편차이다. 그런 다음, 정규화 흐름은 가 다음과 같은 가역 함수임을 추가로 적용할 수 있다.
[수학식 6]
[수학식 6]의 가역성 조건 덕분에 매우 흥미로운 현상이 일어난다. 좀 더 구체적으로, 주변 공간 거리 [수학식 4]를 다음과 같이 단순화할 수 있다.
[수학식 7]
그것은 상수가 된다. 따라서 파라미터 추정에 디코더 부분이 더 이상 필요하지 않으며, 정규화 흐름(NF)의 동시 거리 최소화 문제가 단일 거리 최소화 문제가 된다.
따라서 [수학식 2]의 증거 하한(ELBO) 손실은 다음으로 대체될 수 있다.
[수학식 8]
여기서, 항도 상수이므로 제거했다. 잠재 공간 Z에 대한 0 평균 단위 분산 Gaussian 측정을 추가로 가정할 경우 [수학식 8]은 다음과 같이 더 단순화할 수 있다.
[수학식 9]
이는 정규화 흐름(NF)의 최종 손실 함수이다.
이제 [수학식 9]에서 손실 함수를 최소화하는 주요 기술적 어려움은 대규모 행렬에 대한 복잡한 결정자 계산과 관련된 마지막 항에서 발생한다. [수학식 6]을 만족하는 가역적 네트워크 아키텍처 외에도, 정규화 흐름은 다음과 같은 변환 시퀀스로 구성된 인코더 함수 에 초점을 맞춘다.
[수학식 10]
이 인코더 함수의 경우 가변 공식의 변경이 이어진다.
[수학식 11]
여기서, h0 = u이다. [수학식 9]의 복잡한 행렬식 계산은 각 단계에 대한 비교적 쉬운 계산으로 대체될 수 있다(비특허문헌 2).
아래에서는 일 실시예에 따른 Cycle-free CycleGAN을 도출한다.
도 5는 일반적인 최적 전송 기반 기존 CycleGAN 학습의 해석을 나타내는 도면이다.
도 5에 도시된 바와 같이, CycleGAN 학습은 Y 분포에서 X 분포로 보내는 G 생성자와 구분자, X 분포에서 Y 분포로 보내는 F 생성자와 구분자로 구성되어 있음을 알 수 있다.
이미지 생성을 위한 잠재 공간 Z와 주변 공간 X 간의 변환을 고려하는 정규화 흐름과 마찬가지로, CycleGAN의 주요 목표는 X와 Y와 같은 두 공간 간의 이미지 전송이다.
특히, 저 선량 CT 노이즈 제거의 경우 대상 SDCT 이미지 공간 X는 확률 측정 가 적용된 반면, LDCT 이미지 공간 Y는 확률 측정 가 적용된 것이다. 그런 다음, CycleGAN의 목표는 LDCT 분포가 SDCT 분포를 따를 수 있도록 LDCT 분포를 SDCT 분포 로 전달한다. 이는 최적 전송과 밀접한 관련이 있는 것으로 나타났다.
특히, (X, )에서 (Y, )로의 전송은 전방향 연산자(forward operator) 에 의해 수행되므로, 는 X의 측정 를 공간 Y의 로 "전방향으로 밀어 넣는다". 반면, 측정 공간 (Y, )에서 다른 측정 공간 (X, )으로의 대규모 전송은 생성자 에 의해 이루어진다. 즉, 생성자 는 타겟 공간 X에 있는 측정 으로 Y의 측정 를 밀어 넣는다. 그런 다음, 와 사이의 통계적 거리 dist(, )와 와 사이의 dist(, )를 동시에 최소화함으로써 비지도 학습을 위한 최적의 전송 맵을 달성할 수 있다.
l2 거리와 KL 발산을 각각 주변 및 잠재 공간의 거리로 사용하는 원래의 VAE와 정규화 흐름(NF)과는 대조적으로, 여기서는 Wasserstein 측정값을 이전 연구에서 영감을 받은 통계 거리로 사용한다. 그렇다면, 동시 통계 거리 최소화는 다음과 같은 Kantorovich 최적 전송 문제를 해결함으로써 이루어질 수 있다.
[수학식 12]
여기서, 는 마진 및 와 함께, 전송 비용을 정의하는 공동 분배의 집합을 말한다.
[수학식 13]
여기서, >0은 일부 가중치 파라미터를 나타낸다. 특히, [수학식 13]에서 의 역할은 원래 -CycleGAN의 맥락에서 연구되었다.
많은 역 문제에서 추가 정규화가 종종 사용된다. 예를 들어, 다음과 같은 (비특허문헌 4)를 사용할 수 있다.
[수학식 14]
여기서, 은 정규화 파라미터이고 마지막 항은 생성자에 의한 변동을 불리하게 만든다. [수학식 14]의 처음 두 항은 x와 y를 모두 사용하여 계산되지만 마지막 항은 y에 대해서만 계산된다. 최적 전송 관점에서, 이것은 큰 차이를 만든다. 첫 번째 항은 이중 공식을 필요로 하는 반면, 마지막 항의 계산은 미미하기 때문이다.
실제로, 비지도 학습의 원래 공식 [수학식 12]에서 전송 비용 [수학식 14]은 다음과 같이 나타낼 수 있다.
[수학식 15]
여기서,
이다.
여기에, 은 하이퍼 파라미터이고, 사이클 일관성은 다음에 의해 주어진다.
[수학식 16]
[수학식 17]
여기서, 는 도메인 D에서의 공간을 나타내고,
[수학식 18]
이다.
정규화 흐름(NF)의 주요 단순화 단계[수학식 7]와 마찬가지로 CycleGAN 학습에 [수학식 6]의 가역적 생성자를 사용하면 매우 흥미로운 일이 발생한다. 다음의 제안이 일 실시예에 따른 핵심 결과이다.
명제 1. 생성자가 가역적이라고 가정한다. 즉, 이고 는 함수이다. 그런 다음, =k로 [수학식 14]에 의해 주어진 전송 비용에 대한 [수학식 15]의 CycleGAN 문제는 다음과 같이 나타낼 수 있다.
[수학식 19]
여기서,
[수학식 20]
이다.
여기에, 는 [수학식 18]에서 정의되고,
이다.
증명. 첫째, [수학식 6]의 가역성 조건은 및 를 의미하므로 [수학식 16]의 가 사라지는 것을 쉽게 알 수 있다. 둘째, [수학식 6]의 가역성 조건 덕분에 다음 식을 얻을 수 있다.
[수학식 21]
여기서, 설정 은 다음에 의해 정의된다.
[수학식 22]
마지막 등식은 에서 의 경우 로 나온다. 게다가, F는 함수이기 때문에, 다음을 얻을 수 있다.
여기서, 부등식 (a)는 의 1/-Lipschitz 조건에서 (b) 는 함수에서 나오며, 여기서, 는 가정에 의해 얻어진다. 따라서 는 1-Lipschitz 함수이다. 따라서 함수 공간을 로부터 모든 1-Lipschitz 함수로 확장하면 다음과 같은 상한을 얻을 수 있다.
[수학식 23]
다음으로, [수학식 23]의 상한이 타이트함을 보여줄 것이다. 가 [수학식 23]에 대한 최대라 가정한다. 그 경계가 굳건하다는 것을 보여주기 위해서는 그런 의 존재를 보여야 한다.
가역성 조건 [수학식 6] 덕분에 모든 x X에 대해 인 y Y를 항상 찾을 수 있다. 따라서,
상한선을 달성한다. 그러므로 다음을 얻을 수 있다.
여기서, 이다. 이것으로 증명은 끝났다.
정규화 흐름(NF)에 비해 Cycle-free CycleGAN은 여러 가지 이점을 제공한다. 첫째, 정규화 흐름(NF)의 잠재 공간 Z는 일반적으로 Gaussian 분포로 가정되므로, 주요 초점은 잠재 공간 Z의 노이즈에서 주변 공간 X로의 이미지 생성이다. Y에서 X 도메인 사이의 이미지 변환에 정규화 흐름(NF)을 적용하기 위해서는 Y에서 Z로 변환하기 위한 정규화 흐름(NF) 네트워크와 Z에서 X로 변환하기 위한 정규화 흐름(NF) 네트워크를 구현해야 한다. 잠재 공간을 통한 이미지가 변환하는 동안, 일 실시예에 따른 경험적 결과는 Gaussian 잠재 변수에 대한 제한으로 인한 정보 손실이 존재한다는 것을 보여주었다. 반면, Cycle-free CycleGAN에서는 공간 X와 Y가 경험적 분포일 수 있다.
도 6은 일 실시예에 따른 최적 전송 기반 가역적 생성자를 사용한 CycleGAN 학습 기술의 학습의 해석을 나타내는 도면이다.
도 6을를 참조하면, 가역적 생성자를 사용하여 Y 분포에서 X 분포로 보내는 G 생성자와 구분자만 학습시킬 경우, G 생성자의 역이 다시 X 분포에서 Y 분포로 보내는 역할을 수행하게 된다. 가역적 생성자가 가역적인 연산 위에서 영상의 분포를 학습함에 있어서 가장 중요한 구조는 커플링 층(coupling layer)이다. 이는 아래에서 보다 상세히 설명한다.
또한, 일 실시예에 따른 방법은 기하학적 해석이 매우 흥미롭다. 전방향 연산자 를 가역적 생성자 역으로 대체함으로써, 도 3의 원래 CycleGAN에서 동시 통계 거리 최소화 문제는, 도 4에 도시된 바와 같이, 단일 통계 거리 최소화 문제로 대체될 수 있다. 이 현상은 원래의 정규화 흐름(NF)과 유사하므로, 일 실시예에 따른 프레임워크는 최적 전송 관점에서 정규화 흐름(NF)의 확장이라고 가정할 수 있다.
가역적 생성자
흐름 기반 생성 모델을 위한 가역적 신경망을 구축하기 위해 다양한 아키텍처가 제안되었다. 예를 들어, 비선형 독립 성분 추정(NICE)(비특허문헌 2)은 볼륨 보존 가역적 매핑(volume-preserving invertible mapping)으로 이어지는 결합 가능한 커플링 층을 기반으로 한다. 나중에, 이 방법은 affine 결합 계층으로 더욱 확장되어 모델의 표현성을 증가시킨다.
그러나 이 아키텍처는 네트워크가 나타낼 수 있는 함수에 일부 제약 조건을 부과한다. 예를 들어, 볼륨 보존 매핑만 나타낼 수 있다. 후속 작업에서는 새로운 가역적 변환을 도입하여 이러한 한계를 해결했다. 좀 더 구체적으로, 실제 가치 비볼륨 보존(Real NVP) 변환을 사용하는 결합 계층이 제안되었다. 반면, Kingma et al. (비특허문헌 5)는 순열 연산의 일반화로서 가역적인 1X1 변환을 제안하여 흐름 기반 생성 모델의 이미지 생성 품질을 크게 개선했다.
아래에서는 일 실시예에 따른 방법에 사용되는 가역적 블록의 구체적인 구성요소를 설명한다.
도 7은 일 실시예에 따른 가역적 블록 및 가역적 생성자의 아키텍처를 나타내는 도면이다.
도 7을 참조하면, 가역적 1X1 컨볼루션과 안정적인 추가 결합 가능한 커플링 층으로 인터리브된 스퀴즈(squeeze)/언스퀴즈(unsqueeze) 블록의 L 반복으로 구성되어 있다. 여기서, 가역성 덕분에 연산을 반대로 하여 출력 y에서 입력 x를 얻기 위해 연산을 반대로 할 수 있다. 자세한 설명은 다음과 같다.
도 8은 일 실시예에 따른 squeeze 연산 및 unsqueeze 연산을 설명하기 위한 도면이다.
1) squeeze 및 unsqueeze 연산(operation): squeeze 연산 S는 입력 이미지 x를, 도 8에 도시된 바와 같이, 채널 방향을 따라 배열된 4개의 하위 이미지로 분할하며, 수학적으로 다음과 같이 표현할 수 있다.
squeeze 연산은 커플링 층을 구축하는 데 필수적이며, 이는 곧 명백해진다. unsqueeze 연산 U는 다음과 같이 표시된다.
그런 다음, 분리한 채널을 squeeze 연산의 역 연산으로 하나의 이미지로 재배열한다. 이 작업은 unsqueeze 출력이 입력 이미지 x의 동일한 공간 치수를 유지하도록 커플링 층의 출력을 사용하여 적용된다.
2) 가역적 1X1 컨볼루션: squeeze 연산은 입력을 채널 치수를 따라 4개의 구성요소로 분해한다. 그 결과, 고정된 채널 배치로 제한된 공간 정보만 신경망을 통과한다. 따라서, 채널 치수(비특허문헌 2), 차수를 랜덤하게 섞고 반전시키는 것이 제안되었다. 반면, 가역적 1X1 컨볼루션(Glow)을 사용한 생성 흐름은 학습 가능한 파라미터를 사용한 순열 연산의 일반화로서 입력 및 출력 채널의 수가 동일한 가역적 1X1 컨볼루션을 제안했다(비특허문헌 5).
수학적으로, 1X1 컨볼루션 C는 다음과 같이 행렬 W R4X4에 곱하여 나타낼 수 있다.
[수학식 24]
이는 도 9에 도시되어 있다. 도 9는 일 실시예에 따른 가역적 1X1 컨볼루션 및 그 역을 설명하기 위한 도면이다.
완전히 채워진 행렬을 곱하면 채널 별로 구분된 입력 정보를 함께 혼합하여 후속 연산을 보다 효율적으로 적용할 수 있다. 그런 다음, W가 가역적이라면 해당 역 연산 C-1은 다음과 같이 나타낼 수 있다(비특허문헌 5).
[수학식 25]
3) 안정적인 결합 가능한 커플링 층: 커플링 층은 가역성을 주면서도 신경망의 표현성을 제공하는 필수 구성요소이다. NICE(비특허문헌 2)의 결합 가능한 커플링 층은 시퀀스의 짝수 분해와 홀수 분해를 기반으로 하며, 그 후에 신경망이 교대로 적용된다.
입력 이미지가 4개의 채널 블록으로 분할되고 모든 단계에서 신경망이 적용되는 일반 커플링 층으로 추가 확장되었다. 일반적인 가역적 변환을 적용하여 분리된 입력을 보다 효율적으로 처리할 수 있다.
특히, 안정적 커플링 층은 다음에 의해 주어진다.
[수학식 26]
여기서, 는 신경망이다. 그러면 블록 반전은 쉽게 수행할 수 있다.
[수학식 27]
예를 들면, 추가 연산 과 역 연산 은 도 10 및 도 11과 같다.
도 10은 일 실시예에 따른 영상을 다루는 커플링 층의 순방향 연산의 방법을 설명하기 위한 도면이고, 도 11은 일 실시예에 따른 영상을 다루는 커플링 층의 역방향 연산의 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 일 실시예에 따른 단일 가산 연산, 즉 영상을 다루는 커플링 층의 순방향 연산의 방법을 나타낸다. 먼저 영상을 4개의 나누어진 독립적인 영상으로 만들어준다. 커플링 층의 순방향 연산은 3개의 나누어진 영상을 뉴럴 네트워크에 통과시켜 나온 결과를 나머지 1개의 영상에 더해준다. 이 때, 3개의 나누어진 영상은 그대로 유지된다.
도 11을 참조하면, 일 실시예에 따른 단일 가산 연산의 역 연산, 즉 영상을 다루는 커플링 층의 역방향 연산의 방법을 나타낸다. 이는 도 10의 순방향 연산 결과를 다시 역방향 연산하는 커플링 층을 나타낸다. 커플링 층의 역방향 연산은 3개의 나누어진 영상의 위치에서 똑같이 영상을 가져와 동일한 뉴럴 네트워크에 통과시켜 나온 결과를 나머지 1개의 영상에서 빼준다. 동일한 영상과 동일한 뉴럴 네트워크에서는 동일한 결과가 나오기 때문에 결국 같은 결과를 더하고 빼주는 과정이 일어나고, 이러한 특성을 가진 커플링 층을 활용해 가역적인 연산 위에서 영상의 분포를 학습할 수 있도록 가역적 생성자를 제공할 수 있다.
4) Lipschitz 상수 계산: 안정적인 커플링 층의 Jacobian이 단위 결정 요인을 가지고 있음을 쉽게 알 수 있다(비특허문헌 2). 실제로, 앞서 언급한 가역적 네트워크의 모듈 중 단위 결정 요인이 없는 모듈만 1X1 컨볼루션 계층이다. 특히, 단계 [수학식 24]의 로그 결정 요인은 W의 로그 결정 요인(비특허문헌 5)에 의해 결정된다.
[수학식 28]
마찬가지로, 가역적 생성자의 Lipschitz 상수는 W의 행렬 norm으로 쉽게 확인할 수 있다.
웨이블릿 잔여 학습
노이즈로 인한 이미지 생성과 달리 이미지 노이즈 제거에서 중요한 관찰 사항 중 하나는 노이즈가 적고 깨끗한 이미지가 구조적 유사성을 공유한다는 점이다. 따라서 (비특허문헌 1)은 이미지의 모든 구성요소를 학습하는 대신 웨이블릿 잔여 도메인 학습 접근 방식을 제안했고, 실시예들은 동일한 절차를 따른다.
도 12는 일 실시예에 따른 웨이블릿 잔여 영상을 생성하는 방법을 나타내는 도면이고, 도 13은 일 실시예에 따른 웨이블릿 잔여 영상을 사용하여 학습되는 네트워크를 설명하기 위한 도면이다.
도 12에 도시된 바와 같이, 웨이블릿 분해는 고주파 성분과 저주파 성분을 구분한 다음 마지막 수준 분해에서 저주파(LL) 성분만 무효화하면 고주파 성분이 포함된 웨이블릿 잔여 영상을 얻을 수 있다. 즉, 웨이블릿 분해의 가장 낮은 대역을 무효화하여 웨이블릿 잔여 영상을 생성한다.
그러면, 도 13에 도시된 바와 같이, 일 실시예에 따른 네트워크는 고주파 구성요소만을 사용하여 학습된다. 따라서 대부분의 CT 노이즈가 고주파에 집중되고 일반적인 저역 통과 이미지가 신경망에 의해 처리되지 않기 때문에 네트워크에서 CT 노이즈 구성 요소를 훨씬 쉽게 처리할 수 있다. 일 실시예에 따른 네트워크는 웨이블릿 잔여를 사용하여 학습되며, 노이즈 패턴을 획득한 후 노이즈 패턴을 빼서 최종 이미지를 얻을 수 있다.
아래에서는 일 실시예에 따른 구현 방법에 대해 설명한다.
프레임워크의 노이즈 제거 성능을 검증하기 위해 정량적 분석과 정성적 분석의 두 가지 데이터셋을 사용한다. 정량적 분석을 위해 쌍으로 된 저 선량과 표준선량 CT 이미지 데이터셋을 사용한다. 특히, 데이터는 AAPM 2016 저 선량 CT 그랜드 챌린지의 복부 CT 투영 데이터이다. 정성적 실험의 경우 쌍을 이루지 않은 20% 선량 심장 다상 CT 스캔 데이터셋을 사용한다. 자세한 내용은 다음과 같다.
1) AAPM CT 데이터 세트: AAPM CT 데이터 세트는 AAPM 2016 저 선량 CT 그랜드 챌린지의 복부 CT 투영 데이터에서 재구성된 CT 이미지 데이터셋이다. Mayo 클리닉의 기관심사위원회의 승인을 받아 총 10명의 환자 데이터를 확보했다. 512X512 크기의 CT 이미지는 기존의 필터링된 후방 투영 알고리즘을 사용하여 재구성되었다. 포아송 노이즈가 일반 선량의 25%에 해당하는 노이즈 수준을 만들기 위해 투영 데이터에 삽입되었다. 저 선량 CT 이미지 데이터는 일반 선량 CT 이미지를 기반으로 시뮬레이션 되었으므로 쌍으로 구성된 데이터셋이다. 이 학습의 경우 데이터 집합의 모든 값이 Hounsfield 단위 [HU]로 변환되고 -1000 HU보다 작은 값은 -1000 HU로 잘린다. 그런 다음 데이터셋을 4000으로 나누어 [-1,1] 사이의 모든 데이터 값을 정규화한다. 네트워크를 학습하기 위해 3839 CT 이미지를 사용하고, 나머지 421개의 이미지를 사용하여 네트워크를 테스트한다.
2) 20% 선량 다상 심장 CT 스캔 데이터셋: 20% 선량 심장 다상 CT 스캔 데이터셋은 승모 값 이탈 환자의 CT 스캔 50개와 관상 동맥 질환 환자의 CT 스캔 50개에서 획득되었다. 이 데이터셋은 울산대학교 의과대학에서 수집되었으며 Gu(비특허문헌 1)가 연구에 사용하였다. 2세대 듀얼 소스 CT 스캐너를 사용한 심전도(ECG) 게이트 심장 CT 스캔이 수행되었다. 저 선량 CT 스캔의 경우 튜브 전류가 일반 선량 CT 스캔의 20%로 감소한다. 학습의 경우, 데이터셋의 모든 값이 Hounsfield 단위 [HU]로 변환되고 -1024 HU보다 작은 값은 -1024 HU로 잘린다. 그 후 데이터셋을 4096으로 나누어 [-1,1] 사이의 모든 데이터 값을 정규화한다. 네트워크를 학습하기 위해 4684 CT 이미지를 사용하고, 나머지 772개의 이미지를 사용하여 모델을 테스트한다.
가역적 생성자는, 도 7에 도시된 바와 같이, L = 4인 가역적 생성자의 흐름을 기준으로 구성된다. 웨이블릿 잔여를 추출하기 위해 daub3 웨이블릿을 사용하고 모든 데이터셋에 대해 웨이블릿 분해 수준을 6으로 설정했다.
도 14는 일 실시예에 따른 커플링 층에 있는 뉴럴 네트워크의 아키텍처를 나타내는 도면이다. 기본적으로, 아키텍처는 스펙트럼 정규화에 이어 다중 채널 입력 단일 채널 채널 출력 컨볼루션을 가지는 3 개의 컨볼루션 계층으로 구성된다. 첫 번째 및 마지막 컨볼루션 계층은 1의 stride로 3X3 커널을 사용하고 두 번째 컨볼루션 계층은 1의 stride로 1X1 커널을 사용한다. 그리고 잠재 특징맵 채널 크기는 256이다. 각 단계에서 특징맵의 높이와 폭이 이전 특징맵과 동일하도록 첫 번째 및 마지막 컨볼루션 계층에 제로 패딩이 적용된다.
도 15는 일 실시예에 따른 PatchGAN 구분자의 아키텍처를 나타내는 도면이다.
구분자는 PatchGAN 아키텍처를 기반으로 구축된다. 구분자의 전반적인 구조는 도 15에 도시되어 있으며, 이는 5개의 판별 계층보다 4개의 판별 계층으로 구성된 PatchGAN 구분자에 기초한다. 처음 두 컨볼루션 계층은 2의 stride를 사용하고 나머지 컨볼루션 계층은 1의 stride를 사용한다. 첫 번째와 마지막 컨볼루션 계층 이후에는 배치 정규화를 적용하지 않는다. 마지막 컨볼루션 계층을 제외하고 배치 정규화 후 기울기가 0.2인 LeakyReLU를 적용한다. 배치 정규화가 없는 첫 번째 컨볼루션 계층에서 LeakyReLU는 컨볼루션 계층 이후 적용되었다. 판별 손실은 LSGAN 손실로 계산된다.
모든 데이터셋에 대해, 네트워크는 , 이고 미니배치 크기가 1인 ADAM 옵티마이저를 활용하여 18에서의 에 대해 으로 학습되었다. 학습률은 1X10-4로 초기화되었으며 5만 번 반복할 때마다 절반으로 줄어들었다. NVIDIA GeForce RTX 2080Ti에 대해 네트워크를 150,000회 반복 학습했다. 또한 일 실시예에 따른 코드는 Pytorch v1.6.0과 CUDA 10.1로 구현되었다.
정량적 실험 분석의 경우, 피크 신호 대 노이즈비(peak signal-to-noise ratio PSNR)와 구조 유사성 지수 메트릭(SSIM)을 사용한다. PSNR은 다음과 같이 정의된다.
[수학식 29]
여기서, x는 입력 이미지, y는 대상 이미지, MAXx는 이미지 x의 가능한 최대 픽셀 값이다.
SSIM은 다음과 같이 정의된다.
[수학식 30]
여기서, 는 이미지 평균, 는 이미지의 분산이고, 이다.
일 실시예에 따른 방법을 기존의 비지도 LDCT 노이즈 제거 네트워크(비특허문헌 1)와 비교했다. AAPM 데이터셋의 경우, 네트워크 성능을 U-net 아키텍처를 기반으로 하는 기존 CycleGAN과 비교했다. 여기에서는 AdaIN 기반 전환 가능 CycleGAN(비특허문헌 1)과도 비교했다. 이는 LDCT 노이즈 제거를 위한 최첨단 성능을 보여준다. 쌍을 이루지 않은 20% 선량 CT 스캔 데이터셋의 경우 AdaIN 기반 전환 가능 CycleGAN과 방법을 비교한다.
기존 CycleGAN의 학습에서는 이미지를 128X128 패치로 잘라내고 학습률을 1X10-3으로 초기화하여 200epoch 동안 학습하고 다른 학습 설정을 제안된 네트워크 학습과 동일하게 설정한다. AdaIN 기반 전환 가능 CycleGAN에서는 동일한 패치 크기를 사용했으며 학습률은 200epoch 동안 학습된 네트워크인 2X10-4로 초기화되었으며, 기타 학습 설정은 제안된 네트워크 학습과 동일하다. 두 비교 방법 모두 구분자 아키텍처를 위해 5개의 컨볼루션 계층으로 구성된 PatchGAN을 사용했다.
도 16은 기존의 순환 생성적 적대 신경망과 제안한 방법의 저 선량 전산단층 촬영 영상의 노이즈 제거 결과를 나타내는 도면이다. 도 16을 참조하면, (i) 저 선량 영상, (ii) 기존 결과, (iii) 제안한 방법의 결과, (iv) 일반 선량 영상, (v) (i)과 (ii)의 차이, (vi) (i)과 (iii)의 차이를 나타낸다.
도 17은 일 실시예에 따른 가역적 생성자가 적절한 역방향 연산을 했는지 확인한 결과를 나타내는 도면이다. 도 17을 참조하면, (i) 일반 선량 영상, (ii) 기존 결과, (iii) 제안한 가역적 생성자의 역방향 연산 결과, (iv) 저 전량 영상을 나타낸다.
제안한 가역적 생성자를 활용한 효율적 순환 생성적 적대 신경망의 저 선량 전산단층 촬영 영상의 노이즈 제거 성능을 비교하기 위해, 도 16과 같이 같은 조건에서 학습시킨 기존 순환 생성적 적대 신경망 학습 기법을 비교 나열하였다. 기존 순환 생성적 적대 신경망 학습 기법보다 더 깨끗한 영상을 제공하며, 도 17과 같이 가역적 생성자의 역방향 연산 결과가 다시 깨끗한 영상에서 노이즈를 더한 영상을 만드는 것을 확인할 수 있다.
도 18은 일 실시예에 따른 노이즈 제거 결과를 나타내는 도면이다.
도 18을 참조하면, 각기 다른 영상(i-iii)에 대한 왼쪽(저 선량 촬영 영상)과 오른쪽(제안한 방법으로 노이즈 제거한 결과) 영상을 나열하여 나타낸다. 따라서 다른 전상단층 촬영 영상의 노이즈 제거에서도 동일하게 효과적인 노이즈 제거가 이루어짐으로써 다양한 노이즈 제거가 가능하다는 장점을 보여준다.
위와 같은 성능을 내는 가벼운 가역적 생성자 뉴럴 네트워크와 구분자 뉴럴 네트워크 총 두 개의 뉴럴 네트워크를 사용함으로써, 표 1과 같이 기존 순환 생성적 적대 신경망 기반 저 선량 전산단층 촬영 영상의 잡음 제거에 사용되는 학습 가능한 파라미터(learnable parameter) 수의 단 1/10만 사용한다는 장점을 가지고 있다. 이와 같은 효율적인 연산을 통해 연산에 사용되는 전력을 획기적으로 줄일 수 있다.
표 1은 기존 순환 생성적 적대 신경망(좌측), 최신의 순환 생성적 적대 신경망 기반 잡음 제거 기술(중간) 및 제안한 잡음 제거 기술(우측)에 사용되는 학습 가능한 파라미터의 수를 나타낸다.
[표 1]
이상과 같이, 실시예들에 따르면 기존의 뉴럴 네트워크 기반 저 선량 엑스선 전산단층 촬영 영상 복원 기법보다 개선된 영상의 화질을 제공하며, 뉴럴 네트워크의 학습에 필요한 연산량을 획기적으로 줄임으로써, 스마트폰 등을 비롯한 이동식 매체들에도 쉽게 저장 및 관리가 간편한 수준으로 뉴럴 네트워크의 크기가 가벼워진다는 점에서 다양한 적용이 가능하다.
실시예들은 방사선 조사량을 줄인 저 선량 엑스선 전산단층 촬영 영상 복원에 적용될 수 있으며, 다양한 전산단층 촬영 기법에 응용될 수 있다. 또한, 실시예들에 따르면 기존 CycleGAN을 활용한 기술에서도 가역적 생성자를 적용하여 뉴럴 네트워크를 생략할 수 있는 가능성을 열어줌으로써 다양한 CycleGAN 기반 기술들에 적용 및 응용이 가능하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 컴퓨터 장치에 의해 수행되는 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법에 있어서,
    영상을 복원하는 가역적(invertible) 생성자를 제공하는 단계; 및
    상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 단계를 포함하되,
    상기 가역적 생성자를 제공함에 따라 단일 생성자 뉴럴 네트워크와 단일 구분자 뉴럴 네크워크를 이용하여 비지도 학습 기반의 저 선량 엑스선 전산단층 촬영 영상의 화질을 개선하는, 저 선량 엑스선 전산단층 촬영 영상 처리 방법.
  2. 제1항에 있어서,
    상기 학습하는 단계는,
    상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 경우, 동시에 상기 가역적 생성자의 역은 다시 상기 일반 전산단층 촬영 영상에서 상기 저 선량 전산단층 촬영 영상으로 되돌리는 역할을 수행하는, 저 선량 엑스선 전산단층 촬영 영상 처리 방법.
  3. 컴퓨터 장치에 의해 수행되는 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법에 있어서,
    영상을 복원하는 가역적(invertible) 생성자를 제공하는 단계; 및
    상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 단계를 포함하되,
    상기 가역적 생성자를 제공하는 단계는,
    커플링 층(coupling layer)을 포함하는 가역적 블록을 제공하는, 저 선량 엑스선 전산단층 촬영 영상 처리 방법.
  4. 제3항에 있어서,
    상기 커플링 층을 통해 상기 가역적 생성자가 가역적 연산에서 영상의 분포를 학습하도록 하는, 저 선량 엑스선 전산단층 촬영 영상 처리 방법.
  5. 컴퓨터 장치에 의해 수행되는 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법에 있어서,
    영상을 복원하는 가역적(invertible) 생성자를 제공하는 단계; 및
    상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 단계를 포함하되,
    상기 가역적 생성자를 제공하는 단계는,
    입력 영상에 대해 스퀴즈(squeeze) 연산 및 언스퀴즈(unsqueeze) 연산을 수행하는 단계; 및
    상기 스퀴즈(squeeze) 연산 및 상기 언스퀴즈(unsqueeze) 연산 사이에서 가역적 블록을 통해 가역적 연산을 수행하는 단계
    를 포함하는, 저 선량 엑스선 전산단층 촬영 영상 처리 방법.
  6. 제5항에 있어서,
    상기 가역적 블록은,
    가역적 1X1 컨볼루션과 안정적인 추가 결합 가능한 커플링 층을 포함하는 것
    을 특징으로 하는, 저 선량 엑스선 전산단층 촬영 영상 처리 방법.
  7. 삭제
  8. 컴퓨터 장치에 의해 수행되는 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법에 있어서,
    영상을 복원하는 가역적(invertible) 생성자를 제공하는 단계; 및
    상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 단계를 포함하되,
    상기 학습하는 단계는,
    상기 가역적 생성자는 웨이블릿(Wavelet) 잔여 영상을 사용하여 학습하며, 노이즈 패턴을 획득한 후 상기 노이즈 패턴을 제외시켜 최종 이미지를 얻는, 저 선량 엑스선 전산단층 촬영 영상 처리 방법.
  9. 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 장치에 있어서,
    영상을 복원하는 가역적(invertible) 생성자를 제공하는 가역적 생성자 제공부; 및
    상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 학습부를 포함하되,
    상기 가역적 생성자를 제공함에 따라 단일 생성자 뉴럴 네트워크와 단일 구분자 뉴럴 네크워크를 이용하여 비지도 학습 기반의 저 선량 엑스선 전산단층 촬영 영상의 화질을 개선하는, 저 선량 엑스선 전산단층 촬영 영상 처리 장치.
  10. 제9항에 있어서,
    상기 학습부는,
    상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 경우, 동시에 상기 가역적 생성자의 역은 다시 상기 일반 전산단층 촬영 영상에서 상기 저 선량 전산단층 촬영 영상으로 되돌리는 역할을 수행하는, 저 선량 엑스선 전산단층 촬영 영상 처리 장치.
  11. 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 장치에 있어서,
    영상을 복원하는 가역적(invertible) 생성자를 제공하는 가역적 생성자 제공부; 및
    상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 학습부를 포함하되,
    상기 가역적 생성자 제공부는,
    커플링 층(coupling layer)을 포함하는 가역적 블록을 제공하는, 저 선량 엑스선 전산단층 촬영 영상 처리 장치.
  12. 제11항에 있어서,
    상기 커플링 층을 통해 상기 가역적 생성자가 가역적 연산에서 영상의 분포를 학습하도록 하는, 저 선량 엑스선 전산단층 촬영 영상 처리 장치.
  13. 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 장치에 있어서,
    영상을 복원하는 가역적(invertible) 생성자를 제공하는 가역적 생성자 제공부; 및
    상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 학습부를 포함하되,
    상기 가역적 생성자 제공부는,
    입력 영상에 대해 스퀴즈(squeeze) 연산 및 언스퀴즈(unsqueeze) 연산을 수행하고, 상기 스퀴즈(squeeze) 연산 및 상기 언스퀴즈(unsqueeze) 연산 사이에서 가역적 블록을 통해 가역적 연산을 수행하는, 저 선량 엑스선 전산단층 촬영 영상 처리 장치.
  14. 제13항에 있어서,
    상기 가역적 블록은,
    가역적 1X1 컨볼루션과 안정적인 추가 결합 가능한 커플링 층을 포함하는 것
    을 특징으로 하는, 저 선량 엑스선 전산단층 촬영 영상 처리 장치.
  15. 삭제
  16. 가역적 뉴럴 네트워크를 이용한 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 장치에 있어서,
    영상을 복원하는 가역적(invertible) 생성자를 제공하는 가역적 생성자 제공부; 및
    상기 가역적 생성자를 저 선량 전산단층 촬영 영상에서 일반 전산단층 촬영 영상으로 복원하도록 학습하는 학습부를 포함하되,
    상기 학습부는,
    상기 가역적 생성자가 웨이블릿(Wavelet) 잔여 영상을 사용하여 학습하며, 노이즈 패턴을 획득한 후 상기 노이즈 패턴을 제외시켜 최종 이미지를 얻는, 저 선량 엑스선 전산단층 촬영 영상 처리 장치.
  17. 삭제
  18. 삭제
KR1020210130686A 2021-06-28 2021-10-01 가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치 KR102643601B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/848,689 US20220414954A1 (en) 2021-06-28 2022-06-24 Method and apparatus for low-dose x-ray computed tomography image processing based on efficient unsupervised learning using invertible neural network

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210084256 2021-06-28
KR20210084256 2021-06-28

Publications (2)

Publication Number Publication Date
KR20230001483A KR20230001483A (ko) 2023-01-04
KR102643601B1 true KR102643601B1 (ko) 2024-03-06

Family

ID=84925146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210130686A KR102643601B1 (ko) 2021-06-28 2021-10-01 가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102643601B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240137376A (ko) 2023-03-08 2024-09-20 건양대학교산학협력단 지도학습된 행동 모델을 적용한 멀티 에이전트 강화학습 기반 멀티 테스킹 전산화단층영상 화질복원 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102359474B1 (ko) * 2019-03-25 2022-02-08 한국과학기술원 뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Chen, Liqun, et al. "Improving sequence-to-sequence learning via optimal transport." arXiv preprint arXiv:1901.06283(2019)
Yan C, 외. Cycle-Consistent Generative Adversarial Network: Effect on Radiation Dose Reduction and Image Quality Improvement in Ultralow-Dose CT for Evaluation of Pulmonary Tuberculosis.2021. 3. 9.공개.*
Zhao, Binyu, et al. "Unsupervised reused convolutional network for metal artifact reduction." International Conference on Neural Information Processing. Springer, Cham(2020)

Also Published As

Publication number Publication date
KR20230001483A (ko) 2023-01-04

Similar Documents

Publication Publication Date Title
Gupta et al. CNN-based projected gradient descent for consistent CT image reconstruction
Armanious et al. Unsupervised medical image translation using cycle-MedGAN
KR102220029B1 (ko) 뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치
Kwon et al. Cycle-free CycleGAN using invertible generator for unsupervised low-dose CT denoising
JP2017094097A (ja) 医用画像処理装置、ｘ線コンピュータ断層撮像装置及び医用画像処理方法
Yuan et al. SIPID: A deep learning framework for sinogram interpolation and image denoising in low-dose CT reconstruction
KR102094599B1 (ko) 뉴럴 네트워크를 이용한 내부 전산단층 촬영 영상 처리 방법 및 그 장치
WO2022226886A1 (zh) 基于变换域下去噪自动编码器作为先验的图像处理方法
KR102142934B1 (ko) 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법
Cheng et al. Learned full-sampling reconstruction from incomplete data
Amaranageswarao et al. Wavelet based medical image super resolution using cross connected residual-in-dense grouped convolutional neural network
Ye et al. Unified supervised-unsupervised (super) learning for x-ray ct image reconstruction
Yin et al. Unpaired low-dose CT denoising via an improved cycle-consistent adversarial network with attention ensemble
Green et al. 3-D Neural denoising for low-dose Coronary CT Angiography (CCTA)
Zhao et al. Dual-scale similarity-guided cycle generative adversarial network for unsupervised low-dose CT denoising
Feng et al. Rethinking PET image reconstruction: ultra-low-dose, sinogram and deep learning
KR102643601B1 (ko) 가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치
Chen et al. FONT-SIR: Fourth-order nonlocal tensor decomposition model for spectral CT image reconstruction
Karimi et al. Reducing streak artifacts in computed tomography via sparse representation in coupled dictionaries
US20220414954A1 (en) Method and apparatus for low-dose x-ray computed tomography image processing based on efficient unsupervised learning using invertible neural network
Lepcha et al. A constructive non-local means algorithm for low-dose computed tomography denoising with morphological residual processing
Jing et al. Inter-slice consistency for unpaired low-dose CT denoising using boosted contrastive learning
Khodajou-Chokami et al. PARS-NET: a novel deep learning framework using parallel residual conventional neural networks for sparse-view CT reconstruction
US20240135502A1 (en) Generalizable Image-Based Training Framework for Artificial Intelligence-Based Noise and Artifact Reduction in Medical Images
Vemulapalli et al. Deep networks and mutual information maximization for cross-modal medical image synthesis

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right