KR102492043B1 - 이미지 처리 방법 및 장치 - Google Patents

이미지 처리 방법 및 장치 Download PDF

Info

Publication number
KR102492043B1
KR102492043B1 KR1020210057342A KR20210057342A KR102492043B1 KR 102492043 B1 KR102492043 B1 KR 102492043B1 KR 1020210057342 A KR1020210057342 A KR 1020210057342A KR 20210057342 A KR20210057342 A KR 20210057342A KR 102492043 B1 KR102492043 B1 KR 102492043B1
Authority
KR
South Korea
Prior art keywords
octave
image
block
low
feature map
Prior art date
Application number
KR1020210057342A
Other languages
English (en)
Other versions
KR20220141205A (ko
Inventor
박상현
원동규
예동해
Original Assignee
재단법인대구경북과학기술원
마르케트 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원, 마르케트 유니버시티 filed Critical 재단법인대구경북과학기술원
Publication of KR20220141205A publication Critical patent/KR20220141205A/ko
Application granted granted Critical
Publication of KR102492043B1 publication Critical patent/KR102492043B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/444—Low dose acquisition or reduction of radiation dose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)

Abstract

본 발명은 이미지 처리 방법으로서, 촬영된 이미지를 수신하는 단계, 수신된 이미지를 옥타브 컨볼루션 기반 신경망을 통해 처리하여 상기 수신된 이미지에 대한 고품질 이미지 및 엣지 이미지를 출력하는 단계를 포함하고, 상기 옥타브 컨볼루션 기반 신경망은, 복수의 옥타브 인코더 블록 및 복수의 옥타브 디코더 불록을 포함하고, 각각의 옥타브 인코더 블록은 옥타브 컨볼루션 층을 포함하며, 상기 이미지에 대한 고주파 피쳐맵 및 저주파 피쳐맵을 출력하도록 구성될 수 있다.

Description

이미지 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING IMAGE}
본 개시는 이미지 처리 방법 및 장치에 관한 것으로, 보다 구체적으로는, 고주파 및 저주파 상호 컨볼루션(convolution)을 이용하여 CT(COMPUTED TOMOGRAPHY) 영상의 잡음을 제거(denoising)할 수 있는 CT 잡음 제거를 위한 이미지 처리 방법 및 장치에 관한 것이다.
최근에는 세계적으로 고령화 사회가 진행됨에 따라 의료기기 시장의 규모가 계속해서 커지고 있다. 특히 인공지능 기술은 차세대 의료기기의 핵심기술 중 하나로 세계적으로 연구 규모가 확장되고 있다.
한편, 세계 의료기기 시장에서 CT(Computed Tomography) 시장 규모는 MRI에 이어 두 번째로 크다. CT는 진단(diagnosis), 분류(stage classification) 및 질병 검출(disease detection) 등에 대한 비침습형 영상 기법에 널리 사용되는 영상 기법 중 하나이다. 하지만 높은 사용 가능성에도, CT 스캔으로부터의 방사선은 잠재적으로 환자에게 위험할 수 있다.
이에, 로우-도즈(Low-dose)의 CT 기술이 연구되었으며, 특히 Low-dose CT denoising 기술이 환자들의 방사선 피해를 줄이기 위해 연구되어왔다. CT 영상은 단층 촬영, 사이노그램(Sinogram) 신호 취득, CT 영상복원의 과정을 통해 얻어질 수 있다. 사이노그램은 한 방향에서 획득한 투사 데이터를 투사 방향에 따라 순차적으로 배열한 것으로 각 행이 갖는 화소값들은 해당 프로파일의 해당 위치에서의 크기(amplitude)와 같다.
로우-도즈 CT(이하 LDCT)를 촬영하는 LDCT 스캐너는 환자들의 잠재적 방사선 피해를 줄이기 위해 개발되고 있지만, 진단의 부정확성을 야기하는 아티팩트(Artifact)들을 발생시키며, LDCT 영상은 낮은 퀄리티로 촬영되어, 낮은 퀄리티의 CT 영상을 높은 퀄리티의 영상으로 변환해주는 CT 영상복원 기법이 매우 중요하다.
이에, 필터링 기반 복원기법과 모델기반 복원기법이 이용되고 있지만 두 기법 모두 단점을 가지고 있다. 필터기반 복원기술은 빠른 복원 속도라는 장점이 있으나, 고퀄리티 영상을 얻기 힘들고, 노이즈 및 아티팩트(Artifact)에 취약하다. 그리고 모델기반 복원기술은 고퀄리티 영상 취득이 가능하고 노이즈 및 아티팩트에 강인하지만, 높은 계산량과 느린 복원 속도의 단점이 있다.
이러한 필터링 기반 및 모델 기반 복원기법의 단점들을 해소하기 위해 딥러닝 복원 기법들이 제안되었다. 선행기술 1은 LDCT(로우-도즈 CT) 영상에서 노이즈와 아티팩트를 모두 억제하기 위한 기술로, 이미지 구조에서 노이즈와 아티팩트를 구별하기 위해 특정 스케일 및 방향 속성을 이용하고 전체 처리 속도를 100배 이상 높이기 위해 병렬 구현을 도입하였다.
이와 같이, 최근 딥러닝 기반의 CT denoising 기법이 좋은 결과를 보여주고 있지만, 모델 학습 시에 영상의 전체 구조와 영상 내 세밀한 부위의 정보를 고려하지 않고, 모델에서 추출된 특징(Feature)이 중복되거나 비효율적이게 되어 영상의 퀄리티가 떨어질 수 있는 문제가 있다.
즉, 종래의 딥러닝 기반의 CT denoising 기법들은 다른 주파수 대역에서의 신호의 특성을 반영하기 어렵다. 하지만 고주파수 구성요소(component)들은 denoising에서 중요한 역할을 한다. 그렇기 때문에 큰 파라미터를 가지고 있는 딥러닝도 많은 아티팩트들을 효율적으로 제거하기는 어렵다는 문제가 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
선행기술 1: Yang Chen, Zhou Yang, Yining Hu, Guanyu Yang, Yongcheng Zhu, Yinsheng Li, Wufan Chen, Christine Toumoulin, et al. Thoracic low-dose CT image processing using an artifact suppressed large-scale nonlocal means. Physics in medicine & biology, 57(9):2667, 2012.
본 개시의 실시 예의 일 과제는, 노이즈가 포함된 이미지에서 원래 이미지에 대한 훼손을 최소화화면서 노이즈를 제거하기 위한 방법 및 장치를 제공하는 것이다.
또한, 본 개시의 실시 예의 다른 과제는 CT 촬영에 있어서 환자들에 대한 방사선 피해를 최소화하면서도 고품질의 CT 이미지를 획득할 수 있는 방법 및 장치를 제공하는 것이다.
또한, 본 개시의 실시 예의 또 다른 과제는 로우-도즈 CT(Low-Dose Computed Tomography; LDCT) 아티팩트의 불균일(non-uniform)한 분포로 인한 한계를 해결하는 것이다.
또한, 본 개시의 실시 예의 또 다른 과제는 이미지의 전체적인 형상에 대한 학습만 강화되는 것을 극복하고, 이미지의 디테일한 구조들이 유지되지 못하는 문제를 해결하는 것이다.
또한, 본 개시의 실시 예의 또 다른 과제는 이미지 처리용 네트워크 상에서 비효율적인 공간적 리던던시가 발생하는 것을 감소시키는 것이다.본 개시의 실시 예의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 이미지 처리 방법은, 촬영된 이미지를 수신하는 단계, 수신된 이미지를 옥타브 컨볼루션 기반 신경망을 통해 처리하여 수신된 이미지에 대한 고품질 이미지 및 엣지 이미지를 출력하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 옥타브 컨볼루션 기반 신경망은 복수의 옥타브 인코더 블록 및 복수의 옥타브 디코더 불록을 포함하고, 각각의 옥타브 인코더 블록은 옥타브 컨볼루션 층을 포함하며, 이미지에 대한 고주파 피쳐맵 및 저주파 피쳐맵을 출력하도록 구성될 수 있다.
또한, 본 개시의 일 실시 예에 따른 옥타브 컨볼루션 기반 신경망은 복수의 옥타브 인코더 블록 중 첫번째 블록인 제1 옥타브 인코더 블록에서 출력되는 이미지에 대한 저주파 피쳐맵은 복수의 옥타브 인코더 블록 중 두번째 블록인 제2 옥타브 인코더 블록으로 전달되도록 구성될 수 있다.
또한, 제1 옥타브 인코더 블록에서 출력되는 이미지에 대한 고주파 피쳐맵은 상기 복수의 옥타브 디코더 블록 중 마지막 블록인 제1 옥타브 디코더 블록으로 전달되도록 구성될 수 있다.
또한, 본 개시의 다른 실시 예에 따른 옥타브 컨볼루션 기반 신경망은, 복수의 인코더 블록 및 상기 복수의 디코더 블록을 연결시키는 링크 블록 및 링크 블록에 연결되어 상기 이미지에 대한 엣지 이미지를 출력하도록 구성되는 엣지 디코더 블록을 더 포함하며, 링크 블록은 복수의 인코더 블록으로부터 수신한 이미지에 대한 저주파 피쳐맵을 엣지 디코더 블록 및 디코더 블록으로 제공하도록 구성될 수 있다.
여기서, 각각의 옥타브 인코더 블록은 입력받은 피쳐맵보다 축소된 저주파 피쳐맵을 출력하도록 구성되고, 각각의 옥타브 디코더 블록은 입력받은 피쳐맵보다 확장된 피쳐맵을 출력하도록 구성될 수 있다.
또한, 본 개시의 또 다른 실시 예에 따른 옥타브 컨볼루션 기반 신경망은, 복수의 디코더 블록의 출력측에 연결되는 복원층을 더 포함하며, 복원층은 원래 이미지 및 제1 옥타브 디코더 블록으로부터의 출력인 이미지에 대한 피쳐맵에 기초하여 원래 이미지에 대한 고품질 이미지를 생성하도록 구성될 수 있다.
또한, 본 개시의 또 다른 실시 예에 따른 옥타브 컨볼루션 기반 신경망은, 이미지를 입력받아 고주파 성분 데이터와 저주파 성분 데이터로 분리하는 주파수 분해층을 더 포함하며, 제1 옥타브 인코더 블록은 주파수 분해층 다음에 연결되고, 제1 옥타브 디코더 블록은 복원층 이전에 연결되도록 구성될 수 있다.
본 개시의 일 실시 예에 따른 이미지 처리 장치는, 메모리 및 메모리와 연결되고, 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 하나의 프로세서를 포함할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 개시의 실시 예에 따른 이미지 처리 방법 및 장치는 로우-도즈 CT(Low-Dose Computed Tomography; LDCT) 아티팩트의 불균일(non-uniform)한 분포로 인한 한계를 해결하여 LDCT 이미지로부터 고품질의 CT 이미지를 제공할 수 있다.
또한, 본 개시의 실시 예에 따른 이미지 처리 방법 및 장치는 이미지 처리 신경망 모델에서 이미지의 전체적인 형상에 대한 학습만 강화되는 것을 극복하고, 이미지의 디테일한 구조들을 유지하며 고품질 이미지를 제공하는 이미지 처리 신경망 모델을 제공할 수 있다.
이에 따라, 본 개시의 실시 예에 따른 이미지 처리 방법 및 장치는 CT 촬영에 있어서 환자들에 대한 방사선 피해를 최소화하면서도 고품질의 CT 이미지를 제공할 수 있다.
본 개시의 실시 예에 따른 이미지 처리 방법 및 장치에 의해서 LDCT 이미지로부터 고품질의 CT 이미지를 산출할 수 있게 되면서, 환자에 대한 방사선 피해는 최소화하면서 CT 이미지를 통한 진단 정확도를 향상시키고, 진단 소요시간을 감소시킬 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 CT 영상 디노이징을 위한 옥타브 컨볼루션 기반 신경망을 개략적으로 나타낸 도면이다.
도 2는 본 개시의 일 실시 예에 따른 옥타브 컨볼루션 층을 설명하기 위해 개략적으로 나타낸 도면이다.
도 3은 본 개시의 일 실시 예에 따른 옥타브 컨볼루션 기반 신경망의 인코더 블록을 보다 구체적으로 나타낸 도면이다.
도 4는 본 개시의 일 실시 예에 따른 옥타브 컨볼루션 기반 신경망의 디코더 블록을 보다 구체적으로 나타낸 도면이다.
도 5는 본 개시의 일 실시 예에 따른 옥타브 컨볼루션 기반 신경망의 링크 블록을 보다 구체적으로 나타낸 블록도이다.
도 6은 본 개시의 일 실시 예에 따른 이미지 처리 장치를 개략적으로 나타낸 도면이다.
도 7은 본 개시의 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.
도 8은 로우-도즈 CT 이미지, 정상-도즈 CT 이미지 및 두 이미지 간의 차이를 보여주는 이미지를 도시한다.
도 9는 본 개시의 일 실시 예에 따른 옥타브 컨볼루션 기반 신경망으로부터 출력되는 고품질 CT 이미지와 엣지 이미지의 예시를 도시한다.
도 10은 CT 이미지를 다양한 방법으로 처리한 결과를 비교하는 도면이다.
도 11은 본 개시의 다른 실시 예에 따른 옥타브 컨볼루션 기반 신경망을 이용하여 입력 이미지를 처리하여 출력 이미지를 제공하는 전체 과정을 개략적으로 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다.
그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 실시 예는 로우-도즈(Low-dose, 저 선량) 컴퓨터 단층 촬영(Computed Tomography, CT) 영상의 노이즈를 제거(denoising) 하여 정상-도즈(Normal-dose, 정상 선량) CT 영상을 출력하는 학습 네트워크에 관한 것이다. 환자들의 방사선 피해를 줄이기 위해 이용되는 로우-도즈 CT 영상은 저화질의 데이터를 출력하게 된다. 이에, 로우-도즈 CT 영상의 노이즈 제거(denoising) 고품질의 CT 이미지가 획득되도록 해야 한다.
종래에는, 고주파수 성분(component)들이 CT 영상 디노이징에서 매우 중요한 역할을 함에도 다른 주파수 대역에서의 신호의 특성을 반영하기 어려워, 고주파와 저주파가 결합된 상태에서 CT 영상 디노이징을 수행하므로, 큰 파라미터를 가지고 있는 딥러닝의 경우에도 많은 아티팩트(artifact)를 효율적으로 제거할 수 없었다.
이에, 본 실시 예에서는, 저주파 대역과 고주파 대역의 신호의 특징들을 분리하고 학습 중에 저주파 대역과 고주파 대역 각각에 집중하여 학습할 수 있는 CT 영상 디노이징 학습 네트워크에 관하여 제안한다.
간략히 설명하면, 본 실시 예에서는, CT 영상 디노이징을 위한 학습 네트워크에서, 저주파 및 고주파 각각의 피쳐맵(feature map)을 입력받고, 인터 컨볼루션(inter-convolution) 및 인트라 컨볼루션(intra-convolution)을 통해 저주파에 대한 피쳐맵과 고주파에 대한 피쳐맵에서 직접 정보를 추출해주는 옥타브 컨볼루션(octave convolution)을 적용하는 것을 특징으로 한다.
옥타브 컨볼루션은 입력할 영상을 원본과 절반 크기의 영상으로 분리하는 것으로, 옥타브 컨볼루션을 활용하여 저주파 대역과 고주파 대역 각각에 대해 학습 가능하며, 인터 컨볼루션(inter-convolution) 및 인트라 컨볼루션(intra-convolution)을 통해 저주파와 고주파 성분의 관계 또한 학습할 수 있다.
더 나아가서, 본 실시 예에서는, 컨텍스트(context) 정보를 위해 L1과 Edge Loss와 같은 손실 함수를 사용할 수 있다.
즉, 본 실시 예에서는, 피쳐맵들을 저주파 성분과 고주파 성분으로 나누고, 고주파 성분의 정보를 집중한 파라미터를 학습할 수 있다. 그리고 본 실시 예에서의 CT 영상 디노이징 네트워크는, 두 주파수 성분에 대한 피쳐맵들을 입력 받고, 두 주파수 성분의 디코딩이 필요 없이 직접 정보를 추출할 수 있는 옥타브 컨볼루션과 잔차 경로(residual path)로 이루어져 있다. 또한 본 실시 예에서는 노이즈를 줄이면서 엣지 디테일과 스타일을 유지하기 위해 손실 함수로 L1과 Edge Loss를 사용하여 네트워크를 최적화 할 수 있다.
따라서, 본 실시 예에서는, 공간적인 중복(spatial redundancy)를 제거함으로써, 엣지의 선명함(sharpness)을 유지하면서 효율적으로 노이즈를 제거할 수 있다.
정리하면, 본 실시 예에서는, (1) 멀티 스케일 표현 학습을 CT 영상 디노이징 문제에 적용하고, (2) CT 영상에 많은 공간적 중복이 있기 때문에 이미지 분류(image classification)에 많이 이용되는 옥타브 컨볼루션을 CT 영상 디노이징 문제로 확장하여 적용함으로써, CT 영상 디노이징 문제를 보다 용이하게 해결할 수 있도록 할 수 있으며, (3) 노이즈를 제거하면서 엣지 선명함을 유지하기 위해 손실 함수(L1 및 Edge Loss)를 도입하여, 고주파 및 저주파 영역에서 손실 함수에 의한 최적화를 할 수 있다.
한편, 본 실시 예의 네트워크는 CT 영상의 디노이징에 대해서 실시 예로 하여 설명하고 있으나, 이에 한정되는 것은 아니며, 다양한 이미지들, 특히, 의학 영상 품질 향상 문제에 적용될 수 있다.
이러한 본 실시 예의 디노이징 네트워크 모델은 기존 CT 영상 디노이징 기법들과 비교해 정량적, 정성적으로 더 나은 성능을 보이며, 이는 후술하는 테스트 결과를 통해 설명하도록 한다.
도 1은 본 개시의 일 실시 예에 따른 CT 영상 디노이징을 위한 옥타브 컨볼루션 기반 신경망을 개략적으로 나타낸 도면이다.
도 1을 참조하여 보다 구체적으로 살펴보면, 본 실시 예의 학습 네트워크는 옥타브 컨볼루션 기반 신경망으로서, 로우-도즈 CT 이미지가 입력되면 복수의 인코더 블록들을 통해 이미지로부터의 피쳐맵(feature map)들의 크기를 점점 축소시키고, 복수의 디코더 블록들을 통해 피쳐맵들의 크기를 다시 확장시킨 후, 복원층을 통해 고품질 CT 이미지를 출력한다.
본 실시 예의 옥타브 컨볼루션 기반 신경망은 인코더 블록과 디코더 블록을 가지는 구조(피쳐맵을 줄였다가 다시 확장해주는 구조)를 갖춘 U-Net 구조를 따른다. U-Net은 k-레벨의 인코더 블록과 디코더 블록으로 구성되며 디코딩 과정에서 각 레벨의 대응하는 인코더 블록의 출력을 스킵 커넥션(Skip Connection)으로 결부시켜(Concatenate)하여 디코딩을 수행할 수 있다.
U-Net 구조를 이용하게 되면 피쳐맵을 줄일 때마다 넓은 수용 영역(receptive field) 내에서 높은 레벨의 정보를 추출할 수 있기 때문에 예측 성능을 높여줄 수 있다. 특히 CT 영상 복원의 경우 넓은 영역을 보고 노이즈와 엣지를 구분해야 하는 경우가 많기 때문에 이러한 U-Net 구조가 유리할 수 있다.
일반적인 인코더-디코더 구조는 옥타브 넷(Octave Net)을 사용하고 있지 않기 때문에 이전에 언급했던 공간 중복(spatial redundancy) 문제들을 내포하고 있다. 즉, 일반적인 컨볼루션(Convolution)의 특징상 한 그룹의 필터 채널이 한 대역(스케일)의 영상에서 이루어지기 때문에 전체 영상의 구조를 담당하는 저주파 성분과 관련한 필터들이 중복적으로 학습되는 경우가 많다.
그러나, 실제 노이즈 및 엣지와 연관성이 높은 고주파 신호들은 프로세싱하기 어렵다. 이에 따라 본 발명에서는 인코더-디코더의 U-Net 구조에 옥타브 넷을 결합한 구조의 옥타브 컨볼루션 기반 신경망을 제안한다.
또한, 본 개시의 실시 예에 따른 옥타브 컨볼루션 기반 신경망은 복수의 인코더 블록들(예를 들어, 인코더 블록 1, 2, 3), 복수의 디코더 블록들(예를 들어, 복수의 디코더 블록 1, 2, 3), 인코더 블록과 디코더 블록을 연결시키는 링크 블록, 링크 블록으로부터 추가로 연결되는 복수의 엣지 디코더 블록들(예를 들어, 엣지 디코더 블록 1, 2, 3) 및 복원층을 포함할 수 있다.
복수의 인코더 블록들을 통해 축소되며 추출된 피쳐맵이 디코더 블록들을 통해 확대되며 처리되어 디노이징된 고품질의 CT 이미지로 출력될 수 있고, 복수의 인코더 블록들을 통해 축소되며 추출된 피쳐맵이 엣지 디코더 블록을 통해 처리되어 입력된 CT 이미지에 대한 엣지 이미지로 출력될 수 있다.
일 실시 예에서, 인코더 블록 1은 입력되는 LDCT 이미지로부터 고주파 대역 및 저주파 대역에서 피쳐맵을 추출하는 주파수 분해를 수행하는 층을 포함할 수 있다. 다른 실시 예에서, LDCT 이미지의 입력부와 첫 번째 인코더 블록 1 사이에는 주파수 분해층이 포함될 수 있다. 주파수 분해층은 LDCT 이미지를 입력받아 고주파 성분 데이터와 저주파 성분 데이터로 분리하여 인코더 블록 1로 전달할 수 있다.
각각의 인코더 블록은 옥타브 컨볼루션 층을 포함하며, 이미지에 대한 고주파 피쳐맵 및 저주파 피쳐맵을 출력할 수 있다. 옥타브 컨볼루션 층을 포함하는 인코더 블록들은 옥타브 인코더 블록들로 지칭될 수 있다. 옥타브 컨볼루션 층은 입력된 이미지의 피쳐를 고주파수와 저주파수 피쳐로 분리하는 역할을 할 수 있다.
고주파수 성분과 저주파수 성분을 분리하는 비율과 관련해서는, 하이퍼 파리미터(Hyper-parameter) α를 설정하여 얼마만큼 고주파수 성분과 저주파수 성분을 분리할 것인지를 결정할 수 있다. 출력된 고주파수, 저주파수 피쳐맵은 각각 (1-α)C×H×W와 αC×H/2×W/2의 피쳐맵들을 출력할 수 있다. 여기서 C는 피쳐맵을 추출하는 채널의 수로 C는 자연수이며, α는 1보다 작고 0보다 큰 유리수로 αC를 자연수로 만드는 유리수로 설정될 수 있다.
옥타브 인코더 블록 중 첫번째 블록인 옥타브 인코더 블록 1은 LDCT 이미지에 대해 저주파 대역으로 추출된 저주파 피쳐맵을 다음 인코더 블록인 옥타브 인코더 블록 2로 전달할 수 있다. 옥타브 인코더 블록 1은 LDCT 이미지에 대해 고주파 대역으로 추출된 고주파 피쳐맵을 대응되는 마지막 디코더 블록인 옥타브 디코더 블록 1으로 전달할 수 있다.
옥타브 인코더 블록 중 두번째 블록인 옥타브 인코더 블록 2는 LDCT 이미지에 대해 저주파 대역으로 추출된 저주파 피쳐맵을 다음 인코더 블록인 옥타브 인코더 블록 3으로 전달할 수 있다. 옥타브 인코더 블록 2는 LDCT 이미지에 대해 고주파 대역으로 추출된 고주파 피쳐맵을 대응되는 마지막에서 두번째 디코더 블록인 옥타브 디코더 블록 2로 전달할 수 있다.
옥타브 인코더 블록 중 세번째 블록인 옥타브 인코더 블록 3은 LDCT 이미지에 대해 저주파 대역으로 추출된 저주파 피쳐맵을 링크 블록으로 전달할 수 있다. 옥타브 인코더 블록 3은 LDCT 이미지에 대해 고주파 대역으로 추출된 고주파 피쳐맵을 대응되는 마지막에서 세번째 디코더 블록인 옥타브 디코더 블록 3으로 전달할 수 있다.
링크 블록은 복수의 옥타브 인코더 블록과 복수의 옥타브 디코더 블록 사이에서 연결하는 기능을 수행하며 링크 블록의 출력부에는 옥타브 디코더 블록 3과 엣지 디코더 블록 3이 연결될 수 있다.
옥타브 디코더 블록 3은 링크 블록으로부터 저주파 피쳐맵을 입력받고, 옥타브 인코더 블록 3으로부터 고주파 피쳐맵을 입력받는다. 옥타브 디코더 블록 3에서는 링크 블록으로부터 수신한 저주파 피쳐맵과 옥타브 인코더 블록 3으로부터 수신한 고주파 피쳐맵이 결부되어(concatenate) 이용됨으로써, 저주파 피쳐맵만을 이용하는 경우와 비교하여 이미지 내의 경계 정보가 적게 손실되면서 효과적으로 디노이징을 수행할 수 있다.
이와 같은 본 실시 예의 학습 네트워크는 로우-도즈 CT 영상을 입력으로 하고, 정상-도즈 CT 영상을 실측 자료(ground truth)로 하는 엔드 투 엔드(end-to-end) 학습을 수행할 수 있다. 즉 학습 과정에서 특징을 자체적으로 추출하고 신경망 내의 파라미터들을 최적화하는 학습을 수행할 수 있다.
이하, 본 실시 예의 학습 네트워크의 각 구성에 대해 보다 구체적으로 설명하도록 한다.
주파수 분해층
본 실시 예에서 주파수 분해층은 로우-도즈의 CT 영상을 입력 받고, 1 채널의 영상을 C 채널의 저주파수 대역과 고주파수 대역으로 분리할 수 있다. 각각의 주파수 대역을 분리하기 위해서, 본 실시 예에서는 일반적인 컨볼루션이 적용될 수 있다.
본 실시 예에서, 주파수 분해층의 출력은 X로 나타낼 수 있고, 사이즈는 C× H×W로 나타낼 수 있다. 여기서 H는 높이(height)이고, W는 너비(width)이다. 그리고 본 실시 예에서는 저주파와 고주파 대역을 정의하기 위해 채널 수를 분리할 수 있다.
또한 본 실시 예에서, α는 디노이징을 위한 채널 수를 의미하며, 0과 1 사이의 값을 가지는 하이퍼 파라미터로 베이스 채널 C 중 얼만큼의 채널을 저주파 대역에 사용할지를 조절할 수 있다. 즉 저주파 대역 채널 C1은 αC로 정의될 수 있고, 고주파 대역 채널 Ch는 (1-α)C로 정의될 수 있다.
즉, 영상의 디테일한 부분을 캡쳐하는 고주파 대역
Figure 112021051490589-pat00001
는
Figure 112021051490589-pat00002
로 정의될 수 있고, 영상의 전반적인 구조를 캡쳐하는 저주파 대역
Figure 112021051490589-pat00003
는
Figure 112021051490589-pat00004
로 정의될 수 있다. 이때 저주파 대역
Figure 112021051490589-pat00005
는 고주파 대역
Figure 112021051490589-pat00006
의 절반의 H와 W로 다운샘플링될 수 있다. 즉 저주파 대역의 피쳐맵의 높이와 너비는 고주파 대역의 피쳐맵의 높이(H)와 너비(W)의 1/2이며, 저주파 대역의 피쳐맵의 디멘션(길이, 높이, 또는 너비와 같이 해당 피쳐맵의 사이즈를 결정하는 요소)은 고주파 대역의 피쳐맵의 디멘션의 절반 크기를 가진다고 할 수 있다.
옥타브 컨볼루션
도 2는 본 개시의 일 실시 예에 따른 옥타브 컨볼루션 층을 설명하기 위해 개략적으로 나타낸 도면이다.
옥타브 컨볼루션 층에서는 Cl개의 0.5H×0.5W 사이즈를 가지는 저주파 피쳐맵과 Ch개의 H×W 사이즈를 가지는 고주파 피쳐맵이 입력될 수 있다. 입력된 저주파 피쳐맵과 저주파 피쳐맵은 컨볼루셔널 커널(Convolutional Kernel)을 통과하며, 여기서 컨볼루셔널 커널은 로우-투-로우(low-to-low) 컨볼루션, 로우-투-하이(low-to-high) 컨볼루션, 하이-투-하이(high-to-high) 컨볼루션, 하이-투-로우(high-to-low) 컨볼루션을 포함할 수 있다.
로우-투-하이 컨볼루션과 업샘플링을 통과한 저주파 피쳐맵은 하이-투-하이 컨볼루션을 통과한 고주파 피쳐맵과 결합하여 새로운 고주파 피쳐맵으로 출력되고, 로우-투-로우 컨볼루션을 통과한 저주파 피쳐맵은 다운샘플링 및 하이-투-로우 컨볼루션을 통과한 고주파 피쳐맵과 결합하여 새로운 저주파 피쳐맵으로 출력된다.
도 2에 개시된 옥타브 컨볼루션은 2019년에 발표된 Yunpeng Chen et al.의 "Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution"에 기반한 것이다.
다만, 본 개시의 실시 예들은 이러한 옥타브 컨볼루션을 응용하여 CT 이미지와 같은 의료 이미지 처리에 활용하며, 신규한 방식으로 인코더-디코더 구조 및 엣지 디코더 구조를 결합하여 고품질화된(디노이징된) CT 이미지를 제공할 뿐만 아니라 혈관 및 장기 등과 같이 의료적 판단에 필요한 정보를 더욱 명확하게 제공할 수 있다.
CT 영상복원 문제는 고주파와 저주파, 로우 레벨과 하이 레벨의 피쳐들(features)이 동시에 고려되어야 하는데, 일반적인 컨볼루션층에서는 한 그룹의 필터 채널 단위로 계산이 이루어져 고주파 신호에 대한 프로세싱이 어렵게 된다. 따라서, 본 실시 예에서는 일반 컨볼루션이 아닌 옥타브 컨볼루션을 이용함으로써 일반 컨볼루션에서 다루지 못하는 고주파 성분의 피쳐가 효과적으로 프로세싱 될 수 있도록 한다.
옥타브 인코더 블록
도 3은 본 개시의 일 실시 예에 따른 옥타브 컨볼루션 기반 신경망의 인코더 블록을 보다 구체적으로 나타낸 도면이다.
인코더 블록에서는 옥타브 컨볼루션과 활성화 함수(예를 들어, Relu)를 2차례 걸쳐 통과한 피쳐맵들에 대한 풀링(pooling) 과정이 수행될 수 있다. 풀링 과정은 옥타브 컨볼루션의 저주파수 성분 출력으로 대체될 수 있다. 옥타브 인코더 블록에 H×W 사이즈의 이미지가 입력되는 경우, 저주파수 성분의 출력은 αC×H/2×W/2의 크기(αC개의 H/2×W/2 사이즈 피쳐맵)를 가질 수 있으며, 고주파수 성분의 출력은 (1-α)C×H×W의 크기((1-α)C개의 H×W 사이즈 피쳐맵)fmf 가질 수 있다.
저주파수 성분은 αC×H/2×W/2의 크기로 일반 풀링과 동일하게 절반 크기의 이미지로 감소되어 풀링처럼 사용될 수 있다. 맥스(Max) 풀링이나 평균(Average) 풀링 대신 옥타브 컨볼루션의 저주파 신호 결과를 다음 층(layer)에서 사용하는 방식으로 수용야(Receptive Field)를 넓혀줄 수 있다.
옥타브 인코더 블록으로부터의 출력 중 저주파 피쳐맵은 다음 인코더 블록으로 전달되고, 고주파 피쳐맵은 해당 인코더 블록에 대응하는 디코더 블록으로 전달될 수 있다.
옥타브 디코더 블록
도 4는 본 개시의 일 실시 예에 따른 옥타브 컨볼루션 기반 신경망의 디코더 블록을 보다 구체적으로 나타낸 도면이다.
옥타브 디코더 블록들은 이전 디코더 블록에서 출력되는 저주파 피쳐맵과 해당 디코더 블록에 대응되는 인코더 블록으로부터 출력되는 고주파 피쳐맵을 입력받을 수 있다.
디코더 블록에서는 고주파수 성분에 집중하기 위해 옥타브 컨볼루션의 고주파 피쳐맵을 사용할 수 있다. 기존의 U-Net은 고주파 및 저주파 성분이 함께 포함되어 있는 전체 피쳐맵을 결부시켜(Concatenate) 사용하는 반면, 본 개시의 구조는 복원되는 저주파 피쳐맵과 인코더 블록에서 분리된 고주파 피쳐맵을 결부시킬 수 있다.
이로 인해, 분리된 각 주파수 성분을 온전히 디코딩에 사용할 수 있고 공간 중복(Spatial Redundancy)를 줄여줌으로써 정확한 영상의 복원이 가능하게 된다.
도 4를 참조하면, 옥타브 디코더 블록은 이전 디코더 블록에서 수신한 저주파 피쳐맵과 대응되는 인코더 블록에서 수신한 고주파 피쳐맵을 결부시키는 결부층(Concatenate layer), 하나 이상의 옥타브 컨볼루션 및 활성화 함수층, 업샘플링층을 포함할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 옥타브 컨볼루션 기반 신경망의 링크 블록을 보다 구체적으로 나타낸 블록도이다.
링크 블록은 복수의 옥타브 인코더 블록들 중 마지막 인코더 블록으로부터 저주파 피쳐맵을 수신하고 이를 업샘플링하여 첫번째 옥타브 디코더 블록으로 전달할 수 있다.
링크 블록은 도 5와 같이, 하나 이상의 옥타브 컨볼루션 및 활성화층과 업샘플링 층을 포함할 수 있다. 또한, 링크 블록에는 옥타브 디코더 블록에 더하여 dpt지디코더 블록이 연결될 수 있으며, 엣지 디코더 블록은 링크 블록으로부터 수신한 피쳐맵에 기초하여 CT 이미지의 엣지 형상을 추출하는 기능을 수행할 수 있다.
복원층에서는 이러한 옥타브 디코더 블록으로부터 출력되는 피쳐맵들을 기반으로 하여 잔차 이미지(residual image)를 생성할 수 있고, 노이즈 영상이 복원층으로부터 예측되고 입력되었던 로우-도즈 CT 이미지에 더해져 고품질 CT 이미지를 생성할 수 있다. 이러한 고품질 CT 이미지는 정상-도즈 CT 이미지와 그 품질이 유사하거나 더 좋을 수도 있다.
원본 로우-도즈 CT 이미지에서 노이즈를 제거하기 위해서 본 개시의 실시 예에 따른 옥타브 컨볼루션 기반 신경망에는 로우-도즈 CT 이미지와 복원층이 연결되는 잔차 연결이 설정될 수 있다. 이러한 구성을 통해 본 개시의 실시 예에 따른 옥타브 컨볼루션 기반 신경망은 고품질의 CT 이미지를 출력할 수 있다.
엣지 디코더 블록
엣지 디코더 블록은 도 1과 같이 복수 개로 형성될 수 있으나, 이에 한정되지 않고 하나의 엣지 디코더 블록으로 형성될 수도 있다. 엣지 디코더 블록은 수신한 이미지의 엣지 형상을 추출하도록 훈련된 모델로서, 인코더 블록 및 링크 블록을 거쳐 수신된 피쳐맵을 기반으로 최초 입력된 CT 이미지에서 엣지 형상을 분명하게 나타내는 이미지를 출력할 수 있다.
CT 이미지 복원을 위해서는 고주파 성분들 중 노이즈 신호들을 디노이징 하면서 엣지(Edge)나 경계(Boundary) 신호는 샤프닝(sharpening) 시켜줄 필요성이 있다. 따라서, 디노이징을 위한 층과 엣지를 추정하는 층을 네트워크에 추가한 후 학습을 진행함으로써 엣지와 경계를 동시에 고려해주기 위한 고주파 성분 신호를 효과적으로 프로세싱할 수 있는 네트워크가 제공될 수 있다.
네트워크 학습을 위해서는 엣지 맵이 필요한데 이를 생성하기 위해서 다양한 엣지 검출 기법이 사용될 수 있다. 본 개시의 일 실시 예에서는 CT 영상의 윈도우 레인지로 -160 ~ 240을 이용하였고, 히스토그램 평활화(Histogram Equalization)를 수행한 후 캐니 엣지 검출 알고리즘(Canny Edge Detection Algorithm)을 이용하여 엣지를 추출하였다. 기존의 이미지 처리 모델에서는 CT 촬영의 대상이 되는 장기 내부의 미세한 혈관들은 디노이징 될 가능성이 높은데 본 개시의 실시 예에서는 엣지 추출을 함께 고려해줌으로써 장기 내부의 미세한 혈관 및 장기들의 경계가 명확하게 보여질 수 있도록 할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 이미지 처리 장치를 개략적으로 나타낸 도면이다.
CT 이미지 처리 장치(100)는 메모리(110), 통신부(120), 프로세서(130), 입력부(140) 및 출력부(150)를 포함할 수 있다.
메모리(110)는 CT 이미지 처리 장치(100)의 동작에 필요한 각종 정보들을 저장하고, CT 이미지 처리 장치(100)를 동작시킬 수 있는 제어 소프트웨어를 저장할 수 있는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다.
메모리(110)는 하나 이상의 프로세서(130)와 연결되는 것으로, 프로세서(130)에 의해 실행될 때, 프로세서(130)로 하여금 CT 이미지 처리 장치(100)를 제어하도록 야기하는(cause) 코드들을 저장할 수 있다.
여기서, 메모리(110)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(110)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
특히, 본 실시 예에서, 메모리(110)에는 본 개시에 따른 신경망 모델, 신경망 모델을 이용하여 본 개시의 다양할 실시 예를 구현할 수 있도록 구현된 모듈이 저장될 수 있다. 그리고, 메모리(110)에는 본 개시에 따른 학습을 수행하기 위한 알고리즘에 관련된 정보가 저장될 수 있다. 그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(110)에 저장될 수 있으며, 메모리(110)에 저장된 정보는 서버 또는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.
통신부(120)는 네트워크와 연동하여 외부 장치(서버를 포함)간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 또한 통신부(120)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
이러한 통신부(120)는 각종 사물 지능 통신(IoT(internet of things), IoE(internet of everything), IoST(internet of small things) 등)을 지원할 수 있으며, M2M(machine to machine) 통신, V2X(vehicle to everything communication) 통신, D2D(device to device) 통신 등을 지원할 수 있다.
즉, 프로세서(130)는 통신부(120)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다. 그리고, 통신부(120)는 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, 및 NFC 모듈 중 적어도 하나를 포함할 수 있다
입력부(140)는 CT 이미지 처리 장치(100)에 적용되는 다양한 이미지 데이터들이 수집되는 입력 인터페이스이다. 이미지 데이터들은 사용자에 의해 입력되거나 서버로부터 획득될 수 있으며, 예를 들어 3 차원 CT 스캔 영상, 3 차원 영상이 슬라이스 된 2 차원 이미지 등을 포함할 수 있다. 또한 입력부(140)는 CT 이미지 처리 장치(100)의 동작을 제어하기 위한 사용자 명령을 수신할 수도 있으며, 예를 들어, 마이크, 터치 디스플레이 등을 포함할 수 있다.
출력부(150)는 CT 이미지 처리 장치(100)에서 수행된 학습 결과가 출력되는 출력 인터페이스이다. 예를 들어, 노이즈가 제거된 정상-도즈 CT(NDCT) 영상이 출력될 수 있다. 또한 출력부(150)는 예를 들어, 스피커, 디스플레이 등을 포함할 수 있다.
프로세서(130)는 CT 이미지 처리 장치(100)의 전반적인 동작을 제어할 수 있다. 구체적으로, 프로세서(130)는 상술한 바와 같은 메모리(110)를 포함하는 CT 이미지 처리 장치(100)의 구성과 연결되며, 상술한 바와 같은 메모리(110)에 저장된 적어도 하나의 명령을 실행하여 CT 이미지 처리 장치(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(130)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(130)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(Hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다.
프로세서(130)는 일종의 중앙처리장치로서 메모리(110)에 탑재된 제어 소프트웨어를 구동하여 CT 이미지 처리 장치(100) 전체의 동작을 제어할 수 있다. 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 실시 예에서 프로세서(130)는 CT 이미지 처리 장치(100)가 최적의 디노이징 영상 복원 결과를 출력하도록, 획득된 CT 영상에 대하여 딥러닝(Deep Learning) 등 머신 러닝(machine learning)을 수행할 수 있고, 메모리(110)는, 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.
한편, 본 실시 예의 학습 네트워크는 64×64 크기의 패치를 학습할 수 있으며, 학습 네트워크를 테스트할 때는 64×64 크기보다 큰 영상도 테스트할 수 있다. 그리고 본 실시 예에서는, 효율적이고 강인한 네트워크의 학습을 위해 Field Of View(FOV) 샘플링과 데이터 증대(data augmentation)가 사용될 수 있다. 여기서, FOV 샘플링은 학습 패치가 다양한 장기(organ)와 경계(boundary)들을 포함할 수 있도록 CT 영상의 FOV에 기반하여 학습 패치를 뽑는 기법이다.
또한 데이터 증대를 위해서는 Random Rotation [90, 180, 270], Random Rescale [0.5, 2], Random Flip [수평(Horizontal), 수직(Vertical)]이 사용될 수 있다. 또한 프레임워크로는 오픈 소스 머신 러닝 라이브러리인 PyTorch를 사용할 수 있으며, Adam 최적화를 사용할 수 있다. 또한 학습은 100 epoch까지 수행할 수 있다. 여기서, 한 번의 epoch는 인공 신경망에서 전체 데이터 셋에 대해 forward pass/backward pass 과정을 거친 것을 말하며, 즉, 전체 데이터 셋에 대해 한 번 학습을 완료한 상태를 의미할 수 있다. 신경망에서 사용되는 역전파 알고리즘(backpropagation algorithm)은 파라미터를 사용하여 입력부터 출력까지의 각 계층의 가중치(weight)를 계산하는 과정을 거치는 순방향 패스(forward pass), 순방향 패스를 반대로 거슬러 올라가며 다시 한 번 계산 과정을 거처 기존의 가중치를 수정하는 역방향 패스(backward pass)로 나뉜다. 이 전체 데이터 셋에 대해 해당 과정(forward pass + backward pass)이 완료되면 한 번의 epoch가 진행됐다고 볼 수 있다.
또한 본 실시 예의 학습 네트워크에서, 러닝 레이트(learning rate)는 점차적으로 0.0001에서 0.00001로 감소시킬 수 있으며, 베이스 채널 C의 수는 주파수 분해층과 디노이징 블록을 제외하고 64로 정할 수 있다.
한편 상술하는 학습 네트워크의 구체적인 구현 실시 예들은 한정되는 것은 아니며, 실시 예에 따라 변경될 수 있다.
도 7은 본 개시의 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.
CT 이미지 처리 장치(100)는 로우-도즈로 촬영된 CT 이미지를 수신할 수 있다(S710). 로우-도즈 CT 이미지는 외부 기기에서 촬영된 이미지를 유선 또는 무선 통신을 통하여 수신한 것일 수도 있고, 로우-도즈 CT 촬영 기기 내부에 CT 이미지 처리 장치(100)가 일체형으로 구비된 경우에는, 자체 촬영 컴포넌트에 의해 획득된 이미지를 내부 통신망을 통해 수신한 것일 수도 있다.
수신된 CT 이미지는 상술된 옥타브 컨볼루션 기반 신경망을 이용하여 처리될 수 있다(S720). 수신된 CT 이미지는 상술된 신경망의 옥타브 인코더 블록, 링크 블록, 옥타브 디코더 블록을 통과하여 디노이징 등의 고품질화 처리가 되어 출력될 수 있으며, 옥타브 인코더 블록, 링크 블록 및 엣지 디코더 블록을 통과하여 엣지 형상을 나타내는 엣지 이미지로 출력될 수 있다.
이를 통하여, 본 개시의 실시 예의 이미지 처리 장치(100)는 환자에 대해서는 로우-도즈의 CT 촬영을 하여 피해를 최소화하면서도 의료 판단을 위한 정보가 정상 CT만큼 또는 그 이상으로 포함된 의료 이미지를 출력할 수 있다.
상술된 옥타브 컨볼루션 기반 신경망은 위에서 설명된 방식의 처리를 통해 로우-도즈 CT 이미지로부터 고품질 CT 이미지 및 엣지 이미지를 출력할 수 있다(S730).
도 8은 로우-도즈 CT 이미지, 정상-도즈 CT 이미지 및 두 이미지 간의 차이를 보여주는 이미지를 도시한다.
도 8에서 도시된 바와 같이 로우-도즈 CT 이미지는 정상-도즈 CT 이미지에 비해 노이즈가 많고 이미지의 품질이 저하되어 있어 진단의 부정확성을 야기할 수 있는 위험이 있을 수 있다.
그러나, 로우-도즈 CT 촬영은 정상-도즈 CT 촬영에 비해 더 낮은 양의 방사선이 환자의 몸에 방출되도록 하여 CT 촬영에 따른 방사선 피폭 위험을 줄일 수 있는 유용성이 있다.
본 개시의 실시 예에 따르면, 도 8에서의 로우-도즈 CT 이미지로부터 정상-도즈 CT 이미지와 같은 고품질의 의료 이미지를 산출할 수 있으므로, 환자에 대한 방사선 피폭 위험을 줄이면서도 보다 정확한 의료 이미지를 제공하여 진단의 정확성을 높일 수 있는 유리한 효과가 있다.
도 9는 본 개시의 일 실시 예에 따른 옥타브 컨볼루션 기반 신경망으로부터 출력되는 고품질 CT 이미지와 엣지 이미지의 예시를 도시한다.
상술된 옥타브 컨볼루션 기반 신경망은 로우-도즈 CT 이미지를 수신하여 도 9에서와 같이 노이즈가 제거된 고품질 이미지 및 엣지 이미지를 출력할 수 있다.
여기서, 고품질 이미지란 원본 이미지에 비해 노이즈가 제거된 이미지 또는 해상도가 향상된 이미지를 의미할 수 있고, 엣지 이미지란 원본 이미지에 포함된 객체들(CT 이미지의 경우, 장기들 및 혈관들)의 경계를 선으로 나타내는 이미지를 의미할 수 있다.
도 9에서와 같이 출력된 고품질 이미지 및 엣지 이미지는 환자의 상태에 대한 보다 정확한 정보를 전달할 수 있고, 이에 따라 의료진은 보다 정확한 진단 및 치료를 수행할 수 있게 된다.
도 10은 CT 이미지를 다양한 방법으로 처리한 결과를 비교하는 도면이다.
도 10은 본 개시의 일 실시 예에 따른 CT 영상 디노이징 검증을 위한 데이터 셋의 환자 데이터를 시각화한 도면이다. 도 10을 참조하여 본 실시 예의 학습 네트워크의 디노이징 성능을 검증할 수 있다.
본 실시 예에서는, 데이터 셋으로 환자 10명의 복부 LDCT와 NDCT 데이터를 구성할 수 있다. 이때 영상 사이즈는 512×512이고 복셀 사이즈는 0.5mm×0.5mm이고 slice thickness는 3mm이다. 본 실시 예의 학습 네트워크의 디노이징 성능을 검증하기 위해, 본 실시 예의 학습 네트워크와 CNN 그리고 REDCNN을 비교할 수 있다. CNN은 10개의 컨볼루션 레이어와 잔차 연결(residual connection)을 가지는 기본적인 네트워크이다. 그리고 REDCNN은 몇몇의 잔차 연결(residual connection)들과 10개의 레이어를 가지는 인코더-디코더 구조의 네트워크이다. 공정한 비교를 위해 본 실시 예의 학습 네트워크에서는, 디노이징 블록의 옥타브 컨볼루션 레이어 수 N을 REDCNN와 같은 10로 고정할 수 있다. 디노이징 성능은 Peak Signal-to-Noise Ratio(PSNR), Root-MeanSquare Error(RMSE) 그리고 Structural Similarity(SSIM)로 측정하였으며, 10명의 환자에 대해 2-fold cross-validation(2겹 교차 검증)을 수행했다.
Figure 112021051490589-pat00007
표 1은 10명의 환자에 대해 교차 검증(cross-validation)이 수행된 평균 PSNR, RMSE, SSIM 결과를 보여준다. 기존의 컨볼루션 레이어를 사용한 CNN은 대부분의 파라미터가 저주파 신호를 위해 사용되기 때문에, 아티팩터들이 효율적으로 제거되지 않았다. 그리고 인코더-디코더 구조의 REDCNN은 디노이징 성능이 약간 증가했으나, 네트워크의 피쳐맵들의 수축(Contracting)과 확대(Expanding) 과정으로 인해 중요한 정보에 집중하지 못했다. 반면 본 실시 예의 학습 네트워크는 옥타브 컨볼루션을 사용하여 효율적으로 공간적 중복을 줄이고 중요 정보에 집중할 수 있었기 때문에 CNN과 REDCNN이 비해 좋은 성능을 보였음을 알 수 있다. 즉 본 실시 예에서는, 옥타브 컨볼루션을 적용함으로써, 효율적으로 노이즈를 줄이고 각 주파수 대역의 손실을 최소화하면서 저주파와 고주파 피쳐맵들의 균형을 맞출 수 있었다.
또한 정성적 평가를 위해서는 노이즈를 제거하는 동시에 장기들의 선명함을 잘 보여주는 것이 매우 중요하다. 만약 CT 영상이 제대로 디노이징 되지 않거나 너무 부드럽게 되면 실제 판독에 어려움이 있을 것이다. 이에 본 실시 예의 학습 네트워크가 고품질의 디노이징 된 CT 영상을 제공함을 검증하기 위해, 본 실시 예에서는 본 실시 예의 학습 네트워크와 다른 CT 디노이징 네트워크의 정성적 결과를 평가할 수 있다.
도 10을 참조하면, (a)는 LDCT 입력 영상이고, (b)는 LDCT 입력 영상의 패치(빨간색으로 표시된 부분)이며, (c)는 REDCNN의 결과를 나타내고, (d)는 본 실시 예의 학습 네트워크의 결과를 나타내며, (e)는 NDCT 패치를 나타낸다. 도 10에 도시된 바와 같이 (b)와 (c)보다 본 실시 예의 학습 네트워크 결과(d)가 더 선명하고 명확함을 볼 수 있다.
다시 말해, REDCNN의 디노이징 된 영상도 많은 노이즈가 제거된 것으로 보이지만, 영상이 흐릿하고 과도하게 부드럽게 표현되어 장기의 디테일을 제대로 표현하지 못한다. 반면 본 실시 예의 학습 네트워크 결과를 보면, 많은 노이즈가 제거되었을 뿐만 아니라 고주파 성분의 집중함으로써 균형된 선명함과 텍스쳐(texture)를 보여주고 있다. 이를 통해 본 실시 예의 학습 네트워크의 디노이징 성능이 NDCT와 거의 흡사한 퀄리티를 보여줌으로써, 다른 기법에 비해 좋다는 것을 확인할 수 있다.
즉 정리하면, 본 실시 예에서는, 로우-도즈 CT 영상 디노이징을 위해 저주파와 고주파 대역에 대해 집중하고, 옥타브 컨볼루션을 디노이징 네트워크에 적용함으로써, LDCT의 노이즈들을 효율적으로 제거하고 CT 영상의 장기들의 형태와 경계를 분명하게 할 수 있음을 확인할 수 있다. 또한 본 실시 예의 CT 영상 디노이징 장치(100)는 환자들에게 끼칠 잠재적 방사선 피해를 줄여주고 영상의학의들의 CT 영상 분석에 도움이 될 수 있도록 하며, 다른 의학 영상 강화(enhancement) 문제에 있어서도 적용될 수 있다.
도 11은 본 개시의 다른 실시 예에 따른 옥타브 컨볼루션 기반 신경망을 이용하여 입력 이미지를 처리하여 출력 이미지를 제공하는 전체 과정을 개략적으로 나타낸 도면이다.
본 개시의 다른 실시 예에 따른 옥타브 컨볼루션 기반 신경망은 로우-도즈의 이미지가 입력되는 입력 블록과 정상-도즈의 CT 이미지가 출력되는 출력 블록을 포함하며, 크게 세 부분으로 구성되는 히든 레이어 영역을 포함할 수 있다.
여기서, 히든 레이어 영역은 주파수 분해층, 옥타브 컨볼루션 블록 및 복원 레이어로 구성될 수 있다.
본 실시 예의 학습 네트워크에서, 주파수 분해층은 컨볼루션 레이어를 적용하여 입력 영상을 저주파수와 고주파수 대역으로 분리할 수 있다. 그리고 옥타브 컨볼루션 블록은 디노이징 블록으로서 주파수 분해층의 출력이 주어지면, 저주파와 고주파 대역 사이의 노이즈를 추출하고 제거할 수 있다. 마지막으로, 복원층은 디노이징 블록에서 노이즈 제거된 영상에 컨볼루션 레이어를 적용하여 출력할 수 있다.
본 개시의 다른 실시 예에 따른 옥타브 컨볼루션 기반 신경망에서는 입력 이미지로부터 관심 영역에 따라 복수의 패치를 추출할 수 있고, 이를 주파수 분해층을 통해 저주파 및 고주파로 분해하여 상술된 옥타브 컨볼루션을 이용하여 이미지 특징을 추출할 수도 있다.
복수의 옥타브 컨볼루션 블록으로의 처리 이후 복원층에 의해 관심 영역에 대해 노이즈가 제거된 패치가 출력될 수 있다.
이하에서는 주파수 분해층, 옥타브 컨볼루션 블록(기능에 따라 디노이징 블록으로도 지칭함), 및 복원층에 대해 보다 구체적으로 설명하며, 이하의 층들에 대한 설명은 본 개시의 일 실시 예에 따른 옥타브 컨볼루션 신경망의 대응층들에 대해서도 적용될 수 있음은 물론이다.
주파수 분해층
본 실시 예에서 주파수 분해층은 로우-도즈의 CT 영상을 입력 받고, 1 채널의 영상을 C 채널의 저주파수 대역과 고주파수 대역으로 분리할 수 있다. 각각의 주파수 대역을 분리하기 위해서, 본 실시 예에서는 일반적인 컨볼루션이 적용될 수 있다.
본 실시 예에서, 주파수 분해층의 출력은 X 로 나타낼 수 있고, 사이즈는 C×H×W로 나타낼 수 있다. 여기서 H는 높이(heigt)이고, W는 너비(width)이다. 그리고 본 실시 예에서는 저주파와 고주파 대역을 정의하기 위해 채널 수를 분리할 수 있다.
또한 본 실시 예에서, 채널의 수는 α에 의해 결정되며, 0과 1 사이의 값을 가지는 하이퍼 파라미터로 베이스 채널 C 중 얼만큼의 채널을 저주파 대역에 사용할지를 조절할 수 있다. 즉 저주파 대역 채널 Cl은 αC로 정의될 수 있고, 고주파 대역 채널 Ch는 (1-α)C로 정의될 수 있다.
즉, 영상의 디테일한 부분을 캡쳐하는 고주파 대역
Figure 112021051490589-pat00008
는
Figure 112021051490589-pat00009
로 정의될 수 있고, 영상의 전반적인 구조를 캡쳐하는 저주파 대역
Figure 112021051490589-pat00010
는
Figure 112021051490589-pat00011
로 정의될 수 있다. 이때 저주파 대역
Figure 112021051490589-pat00012
는 고주파 대역
Figure 112021051490589-pat00013
의 절반의 H와 W로 다운샘플링 될 수 있다.
옥타브 컨볼루션 블록
본 실시 예에서는, 도 11에 도시된 바와 같이, 저주파 및 고주파 각각의 주파수 대역과 이들의 상호작용을 위한 옥타브 컨볼루션을 N번 반복할 수 있다. 옥타브 컨볼루션의 상세한 구성은 도 2를 참조할 수도 있다.
옥타브 컨볼루션 블록의 n번째 옥타브 컨볼루션 레이어에서는 저주파 피쳐맵
Figure 112021051490589-pat00014
와 고주파 피쳐맵
Figure 112021051490589-pat00015
를 입력으로 받고 네 개의 컨볼루션을 수행할 수 있다. 네 개의 컨볼루션은 인트라 컨볼루션(Low-to-Low convolution, High-to-High convolution) 및 인터 컨볼루션(Low-to-High convolution, High-to-Low convolution)들로 구성될 수 있다. 즉 각각의 옥타브 컨볼루션 레이어는 멀티 분기 구조로 구성될 수 있다. 이때 옥타브 컨볼루션 레이어의 각각의 컨볼루션은 채널의 수를 유지하면서 특징맵을 예측할 수 있다. 다만, 하이-투-로우 컨볼루션은 로우-투-로우 컨볼루션의 출력과 크기가 같은 다운샘플링 된 고주파 입력을 사용할 수 있다.
그리고 본 실시 예의 학습 네트워크에서, 옥타브 컨볼루션 블록은 마지막 레이어에서 주파수 대역들의 정보를 합치기 위해, 인트라 컨볼루션 및 인터 컨볼루션의 출력을 같은 위치의 원소끼리 더한다(element-wise sum).
한편, n번째 옥타브 컨볼루션 블록의 출력은 n+1번째 옥타브 컨볼루션 블록에 사용되거나, 복원층에 사용될 수 있다.
궁극적으로 본 실시 예의 학습 네트워크는, 옥타브 컨볼루션 블록 또는 디노이징 블록에서 원본 영상의 선명함과 부드러움(smoothness)의 밸런스를 맞추도록 학습되어 기능할 수 있다.
한편, 본 실시 예의 학습 네트워크에서, 옥타브 컨볼루션 블록 또는 디노이징 블록은 인코더(encoder)와 디코더(decoder) 구조(피쳐맵을 줄였다가 다시 확장해주는 구조)를 갖춘 U-Net 구조로 구성될 수도 있다.
본 실시 예의 학습 네트워크는, 도 1에서 설명된 바와 같이 k-레벨의 인코더와 디코더로 구성될 수 있으며, 디코딩 과정에서 각 레벨의 대응하는 인코더의 출력을 스킵 연결(skip connection)로 결합하여 디코딩을 수행할 수 있다.
본 실시 예와 같이 U-Net 구조를 이용하게 되면 피쳐맵을 줄일 때마다 넓은 수용 필드(receptive filed) 내의 하이 레벨(high level) 정보를 추출할 수 있기 때문에 예측 성능을 높여줄 수 있다. 특히 CT 영상 복원의 경우 넓은 영역을 보고 노이즈와 엣지를 구분해야 하는 경우가 많기 때문에 본 실시 예와 같은 U-Net 구조를 적용하는 것이 유리할 수 있다.
또한 본 실시 예에서는 일반적인 인코더-디코더 구조와 달리 옥타브 컨볼루션을 사용하고 있기 때문에 공간적인 중복 문제를 해결할 수 있다. 즉, 일반적인 컨볼루션의 특징상 한 그룹의 필터 채널이 한 대역(스케일)의 영상에서 이루어지기 때문에 전체 영상의 구조를 담당하는 저주파 성분과 관련한 필터들이 중복적으로 학습되는 경우가 많지만, 정작 노이즈와 엣지와 연관성이 높은 고주파 신호들은 프로세싱 하기 어렵다. 따라서 본 실시 예에서는 인코더-디코더 구조에 옥타브 컨볼루션을 적용한 구조를 제안할 수 있다.
본 실시 예의 학습 네트워크에는, CT 영상의 피쳐맵을 인코딩하는 인코더(옥타브 인코더 블록 1, 옥타브 인코더 블록 2 및 옥타브 인코더 블록 3)와 두 종류의 디코더 블록들(옥타브 디코더 블록 1, 옥타브 디코더 블록 2 및 옥타브 디코더 블록 3과 엣지 플로우의 엣지 디코더 블록 1, 엣지 디코더 블록 2 및 엣지 디코더 블록 3)가 포함될 수 있다.
옥타브 디코더는 CT 영상의 디노이징을 위한 디코더이고 엣지 디코더 블록은 엣지 예측을 위한 디코더이다.
인코더에 옥타브 컨볼루션을 적용하면 고주파 성분과 저주파 성분 데이터가 나오게 되는데, 본 실시 예에서는 풀링(pooling) 시 저주파 성분 데이터를 이용하여 수용 필드(receptive filed)를 넓혀주고, 스킵 연결(skip connection)에서는 고주파 성분 데이터만을 디코더에 이어줌으로써 고주파 성분의 프로세싱이 효과적으로 진행되도록 할 수 있다.
즉 CT 영상 복원 문제는 고주파와 저주파, 로우 레벨 피쳐맵과 하이 레벨 피쳐맵들이 동시에 고려되어야 하지만, 일반적인 컨볼루션은 한 그룹의 필터 채널들로 계산이 이루어져 고주파 신호의 프로세싱이 어렵다. 따라서 본 실시 예에서는, 도 3에 도시된 바와 같이, 인코더 블록, 디코더 블록 및 보텀(bottom) 블록의 컨볼루션에 대해 모두 옥타브 컨볼루션으로 대체하여 일반 컨볼루션에서 다루지 못하는 고주파 성분의 피쳐맵이 효과적으로 프로세싱 될 수 있도록 할 수 있다.
또한 본 실시 예에서는, 인코더 블록의 풀링 과정은 옥타브 컨볼루션 저주파수 성분 출력으로 대체할 수 있다. 저주파수 성분은 α×H/2×W/2의 크기로 일반 풀링과 동일하게 절반 크기의 영상으로 감소되어 풀링처럼 사용될 수 있다.
즉, 본 실시 예에서는 맥스 풀링(max pooling)이나 평균 풀링(average pooling) 대신 옥타브 컨볼루션의 저주파 신호 결과를 다음 레이어에 사용하는 방식으로 수용 필드(receptive filed)를 넓혀줄 수 있다.
본 실시 예의 학습 네트워크에서는, 고주파수 성분에 집중하기 위해 디코딩 과정에서는 옥타브 컨볼루션의 고주파수 피쳐맵을 사용할 수 있다. 기존 U-Net 구조에서는 고주파, 저주파 성분이 함께 포함되어 있는 전체 피쳐맵을 결합(concatenation)하여 사용하는 반면, 본 실시 예에서는 복원되는 저주파 피쳐맵과 인코딩에서 분리된 고주파 피쳐맵을 결합할 수 있다. 이로 인해 분리된 각 주파수 성분을 온전히 디코딩에 사용할 수 있고, 공간적 중복을 줄여줌으로써 정확한 영상의 복원이 가능하게 된다.
그리고 본 실시 예에서는, 디노이징 블록의 마지막 옥타브 컨볼루션의 α는 0으로 정할 수 있으며, 그 다음 채널 수를 1로 하도록 컨볼루션을 수행할 수 있다.
또한, 본 실시 예의 네트워크는 고주파수 대역에 대한 엣지 검출 디코더를 더 포함할 수 있다. CT 영상 복원을 위해서는, 고주파수 성분들 중 노이즈 신호들의 디노이징을 수행하면서, 제거될 가능성이 있는 엣지나 경계(boundary) 신호는 선명하게(sharpening) 해줄 필요성이 있다.
따라서, 본 실시 예에서는 디노이징을 위한 디코더와 함께 엣지를 추정하는 디코더를 학습 네트워크에 추가한 후 학습을 진행함으로써, 노이즈와 엣지를 동시에 고려하기 위한 고주파 성분 신호를 효과적으로 프로세싱 할 수 있다.
본 실시 예의 학습 네트워크를 학습하기 위해 엣지 맵이 필요한데, 이를 생성하기 위해서는 다양한 엣지 검출 기법이 사용될 수 있다. 예를 들어, 본 실시 예에서, CT 영상의 windowing range는 -160 ~ 240을 이용할 수 있고, 히스토그램 평활화(histogram equalization)를 수행한 뒤에 캐니 엣지 검출(canny edge detection) 알고리즘을 이용하여, 도 4에 도시된 바와 같이 엣지를 추출할 수 있다. 즉 장기 내부의 미세한 혈관들은 디노이징 과정에서 제거될 가능성이 높은데, 본 실시 예에서는 엣지 추출을 함께 고려해줌으로써 이러한 부분들이 제거되지 않고 유지되도록 할 수 있다.
복원층은 디노이징 블록으로부터 출력된 피쳐맵들을 기반으로 잔차 이미지(residual image)를 생성할 수 있다. 원본 영상의 노이즈를 제거하기 위해서 본 실시 예에서는 원본 영상이 입력되는 입력 블록과 디노이징 블록의 출력 사이에 잔차 연결(residual connection)을 배치할 수 있다.
한편, 대부분의 디노이징 네트워크들은 기본적인 L2의 한계점으로 인해 과도하게 부드러워진 영상을 자주 생성할 수 있다. 이에 본 실시 예에서는, 엣지가 부드럽게 되는 것을 피하기 위해, L1 Loss 및 Edge Loss를 손실 함수로 사용할 수 있다. 이는 수학식 1과 같이 표현할 수 있다.
Figure 112021051490589-pat00016
여기서 β는 Edge Loss의 가중치(weight)이다. 본 실시 예에서는 β를 0.01로 설정할 수 있다.
L1 Loss는 예측치
Figure 112021051490589-pat00017
와 레이블 y로 다음 수학식 2와 같이 정의될 수 있다. 여기서 k는 배치 사이즈이다.
Figure 112021051490589-pat00018
그리고 본 실시 예에서는, Edge Loss L E 를 위해 원본 CT 영상과 디노이징 된 CT 영상의 엣지들에 기초하여 소벨 필터(sobel filter)의 L2를 계산할 수 있으며, Edge Loss L E 는 아래 수학식 3과 같이 정의될 수 있다.
Figure 112021051490589-pat00019
상술한 본 실시 예의 학습 네트워크는 상술된 CT 이미지 처리 장치(100)에 의해 구현될 수 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100 : 이미지 처리 장치
110 : 메모리
120 : 통신부
130 : 프로세서
140 : 입력부
150 : 출력부

Claims (17)

  1. 이미지 처리 방법으로서,
    촬영된 이미지를 수신하는 단계;
    수신된 이미지를 옥타브 컨볼루션 기반 신경망을 통해 처리하여 상기 수신된 이미지에 대한 고품질 이미지 및 엣지 이미지를 출력하는 단계를 포함하고,
    상기 옥타브 컨볼루션 기반 신경망은,
    복수의 옥타브 인코더 블록 및 복수의 옥타브 디코더 불록을 포함하고,
    각각의 옥타브 인코더 블록은 옥타브 컨볼루션 층을 포함하며, 상기 이미지에 대한 고주파 피쳐맵 및 저주파 피쳐맵을 출력하고,
    상기 복수의 옥타브 인코더 블록 중 첫번째 블록인 제1 옥타브 인코더 블록에서 출력되는 상기 이미지에 대한 저주파 피쳐맵은 상기 복수의 옥타브 인코더 블록 중 두번째 블록인 제2 옥타브 인코더 블록으로 전달되도록 구성되고,
    상기 제1 옥타브 인코더 블록에서 출력되는 상기 이미지에 대한 고주파 피쳐맵은 상기 복수의 옥타브 디코더 블록 중 마지막 블록인 제1 옥타브 디코더 블록으로 전달되도록 구성되며,
    상기 옥타브 컨볼루션 기반 신경망은,
    상기 복수의 옥타브 인코더 블록 및 상기 복수의 옥타브 디코더 블록을 연결시키는 링크 블록; 및
    상기 링크 블록에 연결되어 상기 이미지에 대한 엣지 이미지를 출력하도록 구성되는 엣지 디코더 블록을 더 포함하며,
    상기 링크 블록은 상기 복수의 옥타브 인코더 블록으로부터 수신한 상기 이미지에 대한 저주파 피쳐맵을 상기 엣지 디코더 블록 및 상기 옥타브 디코더 블록으로 제공하도록 구성되고,
    상기 옥타브 컨볼루션 기반 신경망은, L1 손실함수 및 엣지 손실함수(LE)가 적용되고, L1 손실함수는 아래 수학식 1에 기반하여 산출되며, 엣지 손실함수(LE)는 아래 수학식 2에 기반하는,
    이미지 처리 방법.
    [수학식 1]
    Figure 112022065267464-pat00031

    [수학식 2]
    Figure 112022065267464-pat00032

    여기서, K는 배치 사이즈, C는 채널 수, H는 상기 고주파 피쳐맵의 높이, W는 상기 고주파 피쳐맵의 너비임.
  2. 삭제
  3. 제 1 항에 있어서,
    각각의 옥타브 인코더 블록은 입력받은 피쳐맵보다 축소된 저주파 피쳐맵을 출력하도록 구성되고,
    각각의 옥타브 디코더 블록은 입력받은 피쳐맵보다 확장된 피쳐맵을 출력하도록 구성되는,
    이미지 처리 방법.
  4. 제 3 항에 있어서,
    각각의 옥타브 인코더 블록이 출력하는 저주파 피쳐맵의 디멘션은 상기 각각의 옥타브 인코더 블록이 출력하는 고주파 피쳐맵의 디멘션의 절반 크기를 가지는,
    이미지 처리 방법.
  5. 제 1 항에 있어서,
    상기 옥타브 컨볼루션 기반 신경망은,
    상기 복수의 옥타브 디코더 블록의 출력측에 연결되는 복원층을 더 포함하며,
    상기 복원층은 상기 이미지 및 상기 제1 옥타브 디코더 블록으로부터의 출력인 상기 이미지에 대한 피쳐맵에 기초하여 상기 이미지에 대한 고품질 이미지를 생성하도록 구성되는,
    이미지 처리 방법.
  6. 제 5 항에 있어서,
    상기 옥타브 컨볼루션 기반 신경망은,
    상기 이미지를 입력받아 고주파 성분 데이터와 저주파 성분 데이터로 분리하는 주파수 분해층을 더 포함하며,
    상기 제1 옥타브 인코더 블록은 상기 주파수 분해층 다음에 연결되고, 상기 제1 옥타브 디코더 블록은 상기 복원층 이전에 연결되도록 구성되는,
    이미지 처리 방법.
  7. 제 1 항에 있어서,
    상기 이미지는 로우-도즈(Low-dose, 저 선량)으로 촬영된 LDCT(Low-Dose CT) 이미지이고,
    상기 고품질 이미지는 상기 LDCT 이미지로부터 디노이징한 CT 이미지이며,
    상기 엣지 이미지는 CT 촬영된 인체의 장기들의 경계 및 혈관의 경계를 보여주는 이미지인,
    이미지 처리 방법.
  8. 제 6 항에 있어서,
    상기 주파수 분해층은,
    상기 이미지를 C개의 채널을 통해 저주파 대역 및 고주파 대역으로 분리하되, 상기 C개의 채널 중 저주파 대역에 αC개의 채널을 할당하고, 고주파 대역에 (1-α)C 개의 채널을 할당하도록 구성되며,
    C는 자연수이고, α는 1보다 작고 0보다 큰 유리수로 C를 자연수로 만드는 유리수인,
    이미지 처리 방법.
  9. 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 프로그램은 컴퓨터 상에서 실행될 때, 컴퓨터로 하여금 제 1 항, 및 제3 항 내지 제 8 항 중 어느 하나에 따른 방법을 구현하도록 하는,
    비일시적 컴퓨터 판독가능 매체.
  10. 이미지 처리 장치로서,
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    촬영된 이미지를 수신하는 동작; 및
    수신된 이미지를 옥타브 컨볼루션 기반 신경망을 통해 처리하여 상기 수신된 이미지에 대한 고품질 이미지 및 엣지 이미지를 출력하는 동작을 수행하도록 구성되며,
    상기 옥타브 컨볼루션 기반 신경망은,
    복수의 옥타브 인코더 블록 및 복수의 옥타브 디코더 불록을 포함하고,
    각각의 옥타브 인코더 블록은 옥타브 컨볼루션 층을 포함하며, 상기 이미지에 대한 고주파 피쳐맵 및 저주파 피쳐맵을 출력하고,
    상기 복수의 옥타브 인코더 블록 중 첫번째 블록인 제1 옥타브 인코더 블록에서 출력되는 상기 이미지에 대한 저주파 피쳐맵은 상기 복수의 옥타브 인코더 블록 중 두번째 블록인 제2 옥타브 인코더 블록으로 전달되도록 구성되고,
    상기 제1 옥타브 인코더 블록에서 출력되는 상기 이미지에 대한 고주파 피쳐맵은 상기 복수의 옥타브 디코더 블록 중 마지막 블록인 제1 옥타브 디코더 블록으로 전달되도록 구성되며,
    상기 옥타브 컨볼루션 기반 신경망은,
    상기 복수의 옥타브 인코더 블록 및 상기 복수의 옥타브 디코더 블록을 연결시키는 링크 블록; 및
    상기 링크 블록에 연결되어 상기 이미지에 대한 엣지 이미지를 출력하도록 구성되는 엣지 디코더 블록을 더 포함하며,
    상기 링크 블록은 상기 복수의 옥타브 인코더 블록으로부터 수신한 상기 이미지에 대한 저주파 피쳐맵을 상기 엣지 디코더 블록 및 상기 옥타브 디코더 블록으로 제공하도록 구성되고,
    상기 옥타브 컨볼루션 기반 신경망은, L1 손실함수 및 엣지 손실함수(LE)가 적용되고, L1 손실함수는 아래 수학식 1에 기반하여 산출되며, 엣지 손실함수(LE)는 아래 수학식 2에 기반하는,
    이미지 처리 장치.
    [수학식 1]
    Figure 112022065267464-pat00033

    [수학식 2]
    Figure 112022065267464-pat00034

    여기서, K는 배치 사이즈, C는 채널 수, H는 상기 고주파 피쳐맵의 높이, W는 상기 고주파 피쳐맵의 너비임.
  11. 삭제
  12. 제 10 항에 있어서,
    각각의 옥타브 인코더 블록은 입력받은 피쳐맵보다 축소된 저주파 피쳐맵을 출력하도록 구성되고,
    각각의 옥타브 디코더 블록은 입력받은 피쳐맵보다 확장된 피쳐맵을 출력하도록 구성되는,
    이미지 처리 장치.
  13. 제 12 항에 있어서,
    각각의 옥타브 인코더 블록이 출력하는 저주파 피쳐맵의 디멘션은 상기 각각의 옥타브 인코더 블록이 출력하는 고주파 피쳐맵의 디멘션의 절반 크기를 가지는,
    이미지 처리 장치.
  14. 제 10 항에 있어서,
    상기 옥타브 컨볼루션 기반 신경망은,
    상기 복수의 옥타브 디코더 블록의 출력측에 연결되는 복원층을 더 포함하며,
    상기 복원층은 상기 이미지 및 상기 제1 옥타브 디코더 블록으로부터의 출력인 상기 이미지에 대한 피쳐맵에 기초하여 상기 이미지에 대한 고품질 이미지를 생성하도록 구성되는,
    이미지 처리 장치.
  15. 제 14 항에 있어서,
    상기 옥타브 컨볼루션 기반 신경망은,
    상기 이미지를 입력받아 고주파 성분 데이터와 저주파 성분 데이터로 분리하는 주파수 분해층을 더 포함하며,
    상기 제1 옥타브 인코더 블록은 상기 주파수 분해층 다음에 연결되고, 상기 제1 옥타브 디코더 블록은 상기 복원층 이전에 연결되도록 구성되는,
    이미지 처리 장치.
  16. 제 10 항에 있어서,
    상기 이미지는 로우-도즈(Low-dose, 저 선량)으로 촬영된 LDCT(Low-Dose CT) 이미지이고,
    상기 고품질 이미지는 상기 LDCT 이미지로부터 디노이징한 CT 이미지이며,
    상기 엣지 이미지는 CT 촬영된 인체의 장기들의 경계 및 혈관의 경계를 보여주는 이미지인,
    이미지 처리 장치.
  17. 제 15 항에 있어서,
    상기 주파수 분해층은,
    상기 이미지를 C개의 채널을 통해 저주파 대역 및 고주파 대역으로 분리하되, 상기 C개의 채널 중 저주파 대역에 αC개의 채널을 할당하고, 고주파 대역에 (1-α)C 개의 채널을 할당하도록 구성되며,
    C는 자연수이고, α는 1보다 작고 0보다 큰 유리수로 C를 자연수로 만드는 유리수인,
    이미지 처리 장치.
KR1020210057342A 2021-04-12 2021-05-03 이미지 처리 방법 및 장치 KR102492043B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/227,611 US11967066B2 (en) 2021-04-12 2021-04-12 Method and apparatus for processing image
US17/227,611 2021-04-12

Publications (2)

Publication Number Publication Date
KR20220141205A KR20220141205A (ko) 2022-10-19
KR102492043B1 true KR102492043B1 (ko) 2023-01-26

Family

ID=83509428

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210057342A KR102492043B1 (ko) 2021-04-12 2021-05-03 이미지 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US11967066B2 (ko)
KR (1) KR102492043B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102570562B1 (ko) * 2018-07-16 2023-08-24 삼성전자주식회사 영상 처리 장치 및 그 동작방법
TWI828942B (zh) * 2020-09-23 2024-01-11 中強光電股份有限公司 訓練或應用神經網路模型的電子裝置和方法
US20230252605A1 (en) * 2022-02-10 2023-08-10 Lemon Inc. Method and system for a high-frequency attention network for efficient single image super-resolution
CN116611995A (zh) * 2023-04-06 2023-08-18 江苏大学 一种基于深度展开网络的手写文本图像超分辨率重建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3217659B1 (en) 2013-03-13 2018-06-13 Fujitsu Frontech Limited Image processing apparatus, image processing method, and program
EP3445048A1 (en) * 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
CN111601550B (zh) * 2017-10-09 2023-12-05 小利兰·斯坦福大学托管委员会 用于使用深度学习的医学成像的造影剂量减少
KR102061967B1 (ko) 2018-01-12 2020-01-02 한국과학기술원 뉴럴 네트워크를 이용한 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치
US12026853B2 (en) * 2020-08-03 2024-07-02 The Board Of Trustees Of The Leland Stanford Junior University Deep learning based denoising and artifact reduction in cardiac CT cine imaging

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Xing Bai ET AL:"Parallel global convolutional network for semantic image segmentation", IET Image Processing, 2021 Wiley Online Library, Volume 15, Issue 1, January 2021, Pages 252-259(2021.01.31.) 1부.*
Yunpeng Chen ET AL:"Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution", Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 27 Oct. - 2 Nov. 2019, pp. 3435-3444(2019.10.27.) 1부.*
Zhun Fan, ET AL:"Accurate Retinal Vessel Segmentation via Octave Convolution Neural Network", Electrical Engineering and Systems Science_Image and Video Processing, arXiv:1906.12193, 23 Sept. 2020(2020.09.23.) 1부.*

Also Published As

Publication number Publication date
KR20220141205A (ko) 2022-10-19
US11967066B2 (en) 2024-04-23
US20220327692A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
KR102492043B1 (ko) 이미지 처리 방법 및 장치
US11120582B2 (en) Unified dual-domain network for medical image formation, recovery, and analysis
US11580410B2 (en) 3-D convolutional autoencoder for low-dose CT via transfer learning from a 2-D trained network
CN110060313B (zh) 一种图像伪影校正方法和系统
JP6265992B2 (ja) 画像ノイズの低減及び／又は画像解像度の向上
US11540798B2 (en) Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising
Dietrichson et al. Ultrasound speckle reduction using generative adversial networks
CN111311704A (zh) 图像重建方法、装置、计算机设备和存储介质
CN112396560A (zh) 用于使用深度神经网络对医疗图像进行去模糊的系统和方法
US20220398783A1 (en) Image processing method and device, neutral network and training method thereof, storage medium
CN111583262A (zh) 一种血管分割方法与系统
KR20200137768A (ko) 두부경부 컴퓨터단층촬영영상에서의 안와뼈 분할 방법 및 장치
CN113516586A (zh) 一种低剂量ct图像超分辨率去噪方法和装置
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
CN117237196A (zh) 基于隐式神经表征的脑部mri超分辨率重建方法及系统
Kanna et al. Radiological Imaging Techniques Using Dwt Methodology
Mentl et al. Noise reduction in low-dose ct using a 3D multiscale sparse denoising autoencoder
US11455755B2 (en) Methods and apparatus for neural network based image reconstruction
US11631160B2 (en) Image processing apparatus, image processing method, and X-ray CT apparatus
WO2009110260A1 (ja) 画像処理装置
JP2021065707A (ja) 医用画像処理装置、学習済みモデルおよび医用画像処理方法
CN114298920A (zh) 一种超视野ct图像重建模型训练和超视野ct图像重建方法
CN113689454A (zh) 基于卷积神经网络的3d ct椎体分割算法
KR101685822B1 (ko) Ｘ－ｒａｙ 영상을 위한 대비 향상 방법 및 시스템
CN110706222B (zh) 一种检测影像中骨骼区域的方法及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant