KR102089151B1 - 확장된 뉴럴 네트워크를 이용한 영상 복원 방법 및 장치 - Google Patents

확장된 뉴럴 네트워크를 이용한 영상 복원 방법 및 장치 Download PDF

Info

Publication number
KR102089151B1
KR102089151B1 KR1020180070873A KR20180070873A KR102089151B1 KR 102089151 B1 KR102089151 B1 KR 102089151B1 KR 1020180070873 A KR1020180070873 A KR 1020180070873A KR 20180070873 A KR20180070873 A KR 20180070873A KR 102089151 B1 KR102089151 B1 KR 102089151B1
Authority
KR
South Korea
Prior art keywords
neural network
image
input image
equation
signal
Prior art date
Application number
KR1020180070873A
Other languages
English (en)
Other versions
KR20190024636A (ko
Inventor
예종철
한요섭
차은주
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US16/109,963 priority Critical patent/US10853977B2/en
Publication of KR20190024636A publication Critical patent/KR20190024636A/ko
Application granted granted Critical
Publication of KR102089151B1 publication Critical patent/KR102089151B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

확장된 뉴럴 네트워크를 이용한 영상 복원 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 복원 방법은 입력 영상을 수신하는 단계; 및 미리 설정된 프레임 제약 조건을 만족하는 뉴럴 네트워크를 이용하여 상기 입력 영상에 대한 출력 영상을 복원하는 단계를 포함하고, 상기 복원하는 단계는 상기 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하는 단계; 비선형 함수를 이용하여 상기 변환된 신호들의 계수들을 조정하는 단계; 상기 조정된 계수들을 복원하는 단계; 및 상기 복원된 계수들을 이용하여 결정된 전체 계수를 상기 출력 영상으로 역변환하는 단계를 포함할 수 있다.

Description

확장된 뉴럴 네트워크를 이용한 영상 복원 방법 및 장치{METHOD AND APPARATUS FOR RECONSTRUCTING IMAGE BASED ON NEURAL NETWORK}
아래의 설명은 영상 처리 방법 및 장치에 관한 것으로, 보다 구체적으로는 뉴럴 네트워크를 이용하여 영상을 복원하는 영상 복원 방법 및 장치에 관한 것이다.
신호처리분야에서 신호 복원이란 알고리즘 또는 시스템을 이용해 노이즈(noise)가 포함된 신호에서 노이즈 성분을 제거하거나, 일부 정보가 손실된 저차원 신호에서 손실된 정보를 추정하여 고차원 신호로 복원하는 것을 나타낸다. 여기서 신호는 1차원 신호인 음성, 2차원 신호인 영상, 3차원 신호인 동영상 등을 포함할 수 있으며, 임의의 차수를 가지는 N차원(여기서, N은 자연수) 신호가 될 수 있다.
노이즈는 신호의 수집 단계나 전/후처리 등 다양한 단계에서 발생할 수 있으며, 국소 노이즈로, 가우시안(Gaussian), 포아송(Poisson) 분포를 따르는 노이즈가 대표적이다. 비국소 노이즈로, 선형 아티펙트(Streaking artifact), 링형 아티펙트(Ringing artifact)가 대표적이다. 일반적으로, 국소 노이즈 제거(denoising)는 노이즈 제거 필터(denoise filter)를 신호에 적용하는 방식이 대표적이며, 가우시안 스무딩 필터(Gaussian smoothing filter)나 비/국지 평균필터(local/non-local averaging filter) 등이 있다. 영상의 경우에는, 국소인 영상 패치(patch)등을 함께 필터링하는 방식(patch based collaborative filtering)등도 많이 사용된다. 또한, 대량의 데이터를 통해 국소인 영상 패치에 대한 지도학습(Supervised Learning)된 뉴럴 네트워크, 특히 잔여학습 블럭(Residual block)에 기반한 뉴럴 네트워크를 통해 국소 노이즈 성분을 제거하는 방식도 존재한다. 비국소 노이즈 제거는 반복적 복원 알고리듬(Iterative reconstruction algorithm), 특히 모델 기반 반복적 복원(Model Based Iterative Reconstruction, MBIR) 알고리듬을 신호에 적용하는 방식이 대표적이다. 또한, 대량의 데이터를 통한 비국소 영상 패치에 대한 지도학습된 뉴럴 네트워크, 특히 컨볼루션 프레임렛(Convolutional framelet)에 기반한 뉴럴 네트워크를 통해 비국소 노이즈 성분을 제거하는 방식도 존재한다.
본 발명은 영상에 국소 노이즈 또는 비국소 노이즈가 존재하거나 영상의 일부 정보가 유실되었을 경우 뉴럴 네트워크를 이용하는 영상 복원 방법 및 장치를 제공할 수 있다.
본 발명은 이전의 뉴럴 네트워크의 문제점인 뉴럴 네트워크의 신호 손실에 따른 영상의 뭉개짐 현상과 왜곡현상을 해결하기 위해, 컨볼루션 프레임렛에 기반한 뉴럴 네트워크를 이용하는 영상 복원 방법 및 장치를 제공할 수 있다.
본 발명은 컨볼루션 프레임렛(Convolutional framelet)에 기반한 국소 기저(local basis)와 비국소 기저(non-local basis)를 이용하여 뉴럴 네트워크를 구성하는 영상 복원 방법 및 장치를 제공할 수 있다.
본 발명은 컨볼루션 프레임렛에 따라 구성한 뉴럴 네트워크를 이용하여 복원함으로써, 복원 성능을 향상시키고, 복원에 필요한 연산량을 줄일 수 있으며 및 복원 속도를 개선할 수 있는 영상 복원 방법 및 장치를 제공할 수 있다.
본 발명은 컨볼루션 프레임렛에 따라 구성한 뉴럴 네트워크를 이용하여 입력신호의 국소적 및 비국소 노이즈 성분 제거를 동시에 효율적으로 수행할 수 있는 영상 복원 방법 및 장치를 제공할 수 있다.
본 발명은 임의의 차수의 신호에 적용 가능한 변환 및 역변환과 뉴럴 네트워크를 이용함으로써, 범용적인 신호 복원도 적용 가능한 영상 복원 방법 및 장치를 제공할 수 있다.
본 발명의 일 실시예에 따른 영상 복원 방법은 입력 영상을 수신하는 단계; 및 미리 설정된 프레임 제약 조건을 만족하는 뉴럴 네트워크를 이용하여 상기 입력 영상에 대한 출력 영상을 복원하는 단계를 포함한다.
상기 복원하는 단계는 상기 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하는 단계; 비선형 함수를 이용하여 상기 변환된 신호들의 계수들을 조정하는 단계; 상기 조정된 계수들을 복원하는 단계; 및 상기 복원된 계수들을 이용하여 결정된 전체 계수를 상기 출력 영상으로 역변환하는 단계를 포함할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛 기반 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 낮은 랭크 한켈 행렬 제약 조건을 만족하는 뉴럴 네트워크를 포함할 수 있다.
상기 변환하는 단계는 상기 입력 영상에 웨이블릿 변환(wavelet transform), 코사인 변환(cosine transform)과 푸리에 변환 중 적어도 하나를 적용함으로써, 상기 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환할 수 있다.
상기 변환하는 단계는, 비국소 기저 변환에 기초하여 상기 입력 영상과 상기 뉴럴 네트워크 내 히든 레이어에서의 특징 신호의 계수 성분에 포함된 국소 노이즈 및 비국소 노이즈의 방향성 성분이 분해(decompose)되도록 상기 입력 영상 및 상기 특징 신호의 계수 성분을 신호의 손실 없이 다중 특징 신호들로 변환할 수 있다.
상기 조정하는 단계 및 상기 복원하는 단계는 상기 뉴럴 네트워크의 형태에 따라 반복적으로 수행될 수 있다.
상기 복원하는 단계는 상기 뉴럴 네트워크를 이용하여 상기 입력 영상의 국소 노이즈 및 비국소 노이즈를 제거할 수 있다.
본 발명의 다른 일 실시예에 따른 영상 복원 방법은 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하는 단계; 비선형 함수를 이용하여, 상기 변환된 신호들의 계수들을 조정하는 단계; 미리 학습된 뉴럴 네트워크를 이용하여 상기 조정된 계수들을 복원하는 단계; 및 상기 복원된 계수들을 이용하여 결정된 전체 계수를 출력 영상으로 역변환하는 단계를 포함한다.
상기 변환하는 단계는 상기 입력 영상에 비국소 기저 변환을 적용함으로써, 상기 입력 영상을 다중 특징 신호들로 변환할 수 있다.
상기 변환하는 단계는 상기 입력 영상에 웨이블릿 변환(wavelet transform), 코사인 변환(cosine transform)과 푸리에 변환 중 적어도 하나를 적용함으로써, 상기 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환할 수 있다.
상기 변환하는 단계는 비국소 기저 변환에 기초하여 상기 입력 영상과 상기 뉴럴 네트워크 내 히든 레이어에서의 특징 신호의 계수 성분에 포함된 국소 노이즈 및 비국소 노이즈의 방향성 성분이 분해(decompose)되도록 상기 입력 영상 및 상기 특징 신호의 계수 성분을 신호의 손실 없이 다중 특징 신호들로 변환할 수 있다.
상기 조정하는 단계 및 상기 복원하는 단계는 상기 뉴럴 네트워크의 형태에 따라 반복적으로 수행될 수 있다.
상기 뉴럴 네트워크는 미리 설정된 프레임 제약 조건을 만족하는 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛 기반 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 낮은 랭크 한켈 행렬 제약 조건을 만족하는 뉴럴 네트워크를 포함할 수 있다.
상기 복원하는 단계는 상기 뉴럴 네트워크를 이용하여 상기 입력 영상의 국소 노이즈 및 비국소 노이즈를 제거할 수 있다.
상기 조정하는 단계는 국소 기저 변환과 상기 비선형 함수를 이용하여, 상기 변환된 신호들의 계수들을 조정할 수 있다.
상기 복원하는 단계는 상기 뉴럴 네트워크에 포함된 컨볼루션 뉴럴 네트워크(CNN; convolutional neural network)를 이용하여 저해상도 영상을 고해상도 영상으로 변환할 수 있다.
본 발명의 일 실시예에 따른 영상 복원 장치는 영상 복원 장치에 있어서, 적어도 하나의 프로세서를 포함하고, 상기 프로세서는 입력 영상을 수신하며, 미리 설정된 프레임 제약 조건을 만족하는 뉴럴 네트워크를 이용하여 상기 입력 영상에 대한 출력 영상을 복원하는 것을 특징으로 한다.
본 발명의 일실시예에 따르면, 영상에 국소 노이즈 또는 비국소 노이즈가 존재하거나 영상의 일부 정보가 유실되었을 경우 뉴럴 네트워크를 이용하여 영상을 복원함으로써, 복원 성능을 향상시키고, 복원에 필요한 연산량을 줄일 수 있으며, 복원 속도를 개선할 수 있다.
본 발명의 일실시예에 따르면, 컨볼루션 프레임렛에 기반한 뉴럴 네트워크를 이용함으로써 이전의 뉴럴 네트워크의 문제점인 뉴럴 네트워크의 신호 손실에 따른 영상의 뭉개짐 현상과 왜곡현상을 해결할 수 있다.
본 발명의 일실시예에 따르면, 컨볼루션 프레임렛(Convolutional framelet)에 기반한 국소 기저(local basis)와 비국소 기저(non-local basis)를 이용하여 뉴럴 네트워크를 구성하고, 이러한 컨볼루션 프레임렛 기반 뉴럴 네트워크를 이용하여 영상을 복원함으로써, 복원 성능을 향상시키고, 복원에 필요한 연산량을 줄일 수 있으며, 복원 속도를 개선할 수 있다.
본 발명의 일실시예에 따르면, 다중 해상도 분기 과정을 신호 변환 연산으로 가지는 뉴럴 네트워크를 이용함으로써, 입력신호의 국소 및 비국소 노이즈 성분 제거를 동시에 효율적으로 수행할 수 있다.
본 발명의 일실시예에 따르면, 임의의 차수의 신호에 적용 가능한 변환 및 역변환과 뉴럴 네트워크를 이용함으로써, 범용적인 신호 복원도 적용 가능할 수 있다.
본 발명의 일실시예에 따르면, 뉴럴 네트워크가 입력 신호에 대하여 다중 해상도로 분기하는 과정에 있어서 신호 변환 연산을 이용함으로써 신호의 손실 없이 다중 해상도 신호로 분기하고, 분기된 다중 해상도 신호를 뉴럴 네트워크를 이용하여 복원함으로써, 복원 성능을 향상시키고, 복원에 필요한 연산량을 줄일 수 있으며, 복원 속도를 개선할 수 있다.
도 1은 일실시예에 따라 입력 영상을 처리하는 과정을 설명하기 위한 도면이다.
도 2는 일실시예에 따라 입력 영상을 다중 주파수에 대응하는 신호로 변환하는 예시를 나타낸 도면이다.
도 3은 일실시예에 따른 뉴럴 네트워크를 나타낸 도면이다.
도 4는 일실시예에 따라 뉴럴 네트워크를 이용하여 영상을 처리하는 예시를 나타낸 도면이다.
도 5는 일실시예에 따른 컨볼루션 프레임렛에 기반한 간단한 뉴럴 네트워크 및 확장된 뉴럴 네트워크를 나타낸 도면이다.
도 6은 단순화된 U-Net, 듀얼 프레임 U-Net과 타이트 프레임 U-Net 구조를 나타낸 도면이다.
도 7은 일실시예에 따른 타이트 프레임 U-Net을 이용하여 영상을 처리하는 예시를 나타낸 도면이다.
도 8은 일실시예에 따른 뉴럴 네트워크에 대한 지도학습의 효율성을 나타낸 도면이다.
도 9는 일실시예에 따른 정상 영상, 노이즈가 포함된 입력 영상 및 노이즈가 제거된 출력 영상의 예시를 나타낸 도면이다.
도 10은 일실시예에 따른 영상 복원 방법을 나타낸 도면이다.
도 1은 일실시예에 따라 입력 영상을 처리하는 과정을 설명하기 위한 도면이다.
도 1을 참조하면, 일실시예에 따라 영상 처리 장치가 입력 영상을 처리하는 과정을 설명하기 위한 흐름도가 도시된다.
일실시예에 따른 영상 처리 장치는 입력 영상을 처리하는 장치로서, 예를 들어, 입력 영상에 포함된 노이즈를 제거하거나 또는 입력 영상의 해상도를 증가시키는 처리를 수행할 수 있다. 여기서, 입력 영상은 이미지 센서(예컨대, 의료 영상 장비 또는 광학 영상 장비에 포함된 이미지 센서 등)에 의해 촬영된 영상으로, 예를 들어, 환자 또는 환자의 일부가 촬영된 의료 영상일 수 있다. 예를 들어, 노이즈가 포함된 입력 영상은 저선량으로 촬영된 X선 영상, 짧은 노출(short exposure time) 또는 저조명(low illumination)으로 촬영된 광학 영상, 저자장(low magnetic field)으로 촬영된 MRI 영상을 포함할 수 있다. 또한, 입력 영상은 일부가 손실된 영상일 수도 있다.
의료 영상 장비는 MRI(magnetic resonance imaging), X-ray, X-ray CT(computed tomography), X-ray tomosynthesis 초음파영상, PET(positron emission tomography)을 포함할 수 있다. 광학 영상 장비는 광학 현미경(optical microscopy), 형광 현미경 (fluorescence microscopy), 공초점 현미경(confocal microscopy), OCT(optical coherence tomography), 내시경 영상 장비를 포함할 수 있다.
단계(110)에서, 영상 처리 장치는 입력 영상을 전처리할 수 있다. 일실시예에 따른 영상 처리 장치는 보간 기법 또는 보간 필터를 이용하여 입력 영상인 저해상도 영상을 고해상도 영상으로 변환할 수 있다. 또한, 영상 처리 장치는 노이즈 제거 필터를 이용하여 입력 영상에 포함된 노이즈를 제거할 수 있다. 또한, 영상 처리 장치는 부분 주파수대역 필터를 이용하여 입력 영상을 전처리할 수 있다. 본 발명에서 전처리는 앞서 언급된 방법으로 한정되지 않으며, 발명이 속하는 기술 분야에서 통상의 기술자에게 용이한 방법으로 수행될 수 있다.
단계(120)에서, 영상 처리 장치는 전처리된 입력 영상을 서로 다른 영역에 대응하는 신호들로 변환한다. 일실시예에 따른 영상 처리 장치는 전처리된 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환한다. 일례로, 영상 처리 장치는 입력 영상에 비국소 기저 변환을 이용하여 이용하여 입력 영상을 서로 다른 영역에 대응하는 신호들로 분해하여 변환할 수 있다. 여기서, 서로 다른 영역에 대응하는 신호들은 다중 특징 신호들을 의미할 수 있다. 이 때, 영상 처리 장치는 입력 영상 또는 상위 뉴럴 네트워크의 통과 성분에 비국소 기저 변환을 적용함으로써, 입력 영상 또는 상위 뉴럴 네트워크의 통과 성분을 상기 서로 다른 영역에 대응하는 신호들로 변환할 수 있다. 구체적으로, 영상 처리 장치는 뉴럴 네트워크의 통과 성분에 대하여 반복적으로 다중 주파수 성분이 분해되도록 상위 뉴럴 네트워크의 통과 성분을 서로 다른 영역에 대응하는 신호들로 변환할 수 있다.
여기서, 비국소 기저 변환은 뉴럴 네트워크 내 히든 레이어(hidden layer)에서의 특징 신호(feature signal)의 계수 성분에 비국소 기저 변환을 적용함으로써, 특징 신호의 계수 성분을 신호의 손실 없이 다중 특징 신호들로 변환하는 것을 의미할 수 있다.
또는, 비국소 기저 변환은 분리된 신호에 뉴럴 네트워크를 적용하여, 특징 신호의 계수 성분을 신호의 손실 없이 다중 특징 신호들로 변환하는 것을 의미할 수 있다. 구체적으로, 비국소 기저 변환은 비국소 기저 변환에 기초하여 상기 입력 영상과 상기 뉴럴 네트워크 내 히든 레이어에서의 특징 신호의 계수 성분에 포함된 국소 노이즈 및, 비국소 노이즈의 방향성 성분이 분해(decompose)되도록 상기 입력 영상 및 특징 신호의 계수 성분을 신호의 손실 없이 다중 특징 신호들로 변환하는 과정으로 진행될 수 있다.
일례로, 영상 처리 장치는 웨이블릿 변환(wavelet transform)을 적용함으로써, 입력 영상을 서로 다른 영역에 대응하는 신호들로 변환할 수 있다. 여기서, 웨이블릿 변환은 입력 영상을 신호들로 변환하는 일실시예로, 입력 영상에 포함된 노이즈의 특성이 잘 드러나면서 역변환이 가능한 변환 기법이 입력 영상에 제한 없이 적용될 수 있다. 예를 들어, 코사인 변환(cosine transform)(아래 수학식 1 참조), 사인 변환(sine transform), 푸리에 변환(Fourier transform)(아래 수학식 2 참조) 등의 변환 기법을 이용하여 입력 영상을 복수의 신호들로 변환할 수 있다. 또한, 앞서 설명한 1차원의 연속 신호에 대한 변환 외에도 2차원 이상 신호의 변환도 적용 가능하고, 이산 신호가 주어진 경우 이산 변환도 적용될 수 있다.
[수학식 1]
Figure 112018060615348-pat00001
[수학식 2]
Figure 112018060615348-pat00002
상기 수학식 1, 2에서,
Figure 112018060615348-pat00003
는 주어진 입력 영상을 의미하고,
Figure 112018060615348-pat00004
는 변환된 신호의 계수를 의미할 수 있다.
이하에서는 설명의 편의를 위해 웨이블릿 변환을 기준으로 설명한다. 구체적으로, 웨이블릿 변환은 아래의 <수학식 3>으로 표현할 수 있다.
[수학식 3]
Figure 112018060615348-pat00005
상기 수학식 3에서,
Figure 112018060615348-pat00006
는 주어진 입력 영상을 의미하고,
Figure 112018060615348-pat00007
은 웨이블릿을 의미하며,
Figure 112018060615348-pat00008
은 신호의 웨이블릿 계수를 의미할 수 있다.
일실시예에 따른 웨이블릿 변환은 정상(stationary)의 웨이블릿 변환 및 방향성 필터 뱅크(directional filter bank)를 이용하는 웨이블릿 변환을 포함할 수 있다.
단계(130)에서, 영상 처리 장치는 변환된 신호의 계수들을 복원한다. 일실시예에 따른 영상 처리 장치는 변환된 신호들의 계수들 중 다중 주파수 신호의 계수와 뉴럴 네트워크를 이용하여 나머지 계수들을 복원한다.
일실시예에 따른 영상 처리 장치는 뉴럴 네트워크를 이용하여 국소적 또는 비국소으로 변환된 다중 특징 신호의 계수를 복원할 수 있다. 여기서, 국소 변환 신호(local transform signal)의 계수(coefficient)는 변환된 서로 다른 영역에 대응하는 다중 특징 신호의 일부 영역에 대한 계수를 의미할 수 있다. 또한 비국소 변환신호(global transform signal)의 계수는 변환된 서로 다른 영역에 대응하는 다중 특징 신호의 전체 영역에 대한 계수를 의미할 수 있다.
뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(CNN; convolutional neural network)를 포함할 수 있다. 뉴럴 네트워크는 다양한 ReLU(rectified linear unit), 스그모이드(Sigmoid), Tanh 연산 중 어느 하나를 수행하는 비선형 레이어를 포함할 수 있다. 또한, 뉴럴 네트워크는 배치 정규화(batch normalization) 연산을 평준화 연산으로 사용하는 배치 정규화 레이어를 포함할 수 있다.
또한, 뉴럴 네트워크는 뉴럴 네트워크 내의 복수의 레이어들의 출력을 결합하는 채널 연결 레이어(channel concatenation layer) 또는 채널 합 레이어(channel sum layer)를 포함할 수 있다. 또한, 뉴럴 네트워크는 동일한 연산구조(예컨대, 모듈)을 하나 이상 포함할 수 있다. 여기서, 정규화(normalization)은 평준화와 혼용되어 기재될 수 있다. 또한, 뉴럴 네트워크는 단계(120)의 서로 다른 주파수에 대응하는 변환신호를 연산하는 웨이블릿 변환 레이어를 포함할 수 있다.
본 발명에 의하면, 컨볼루션 프레임렛(Convolution Framelet)에 기초한 뉴럴 네트워크를 통해 영상을 복원할 수 있다. 컨볼루션 프레임렛을 통해 블랙 박스 같았던 뉴럴 네트워크의 작동원리가 해석적으로 정리 가능할 수 있다. 구체적으로, 컨볼루션 프레임렛은 입력 신호를 국소/비국소 기저함수로 표현함으로써 뉴럴 네트워크를 구성할 수 있으므로 다양한 어플리케이션에 대하여 적합한 뉴럴 네트워크의 형태를 해석적으로 분석할 수 있다.
뉴럴 네트워크는 입력 신호에 대하여 비국소 기저 변환을 적용하여 입력 신호를 복원에 적합한 영역으로 변환시킬 수 있으며, 국소 기저 변환을 적용하여 변환 영역에서의 신호를 복원할 수 있다. 그리고, 뉴럴 네트워크를 통해 국소 기저 변환과 비국소 기저 변환에 각각 직교하는 듀얼 기저 변환을 적용함으로써 입력 신호를 복원할 수 있다
단계(140)에서, 영상 처리 장치는 복원된 계수들를 이용하여 결정된 전체 계수를 출력 영상으로 역변환한다. 역변환은 단계(120)에서 수행된 변환의 역일 수 있다.
단계(150)에서, 영상 처리 장치는 출력 영상을 후처리할 수 있다. 일실시예에 따른 영상 처리 장치는 역변환된 출력 영상에 노이즈 제거 필터, 보간 필터, 회기 분석, 부분주파수대역 필터 등을 적용함으로써 출력 영상을 후처리할 수 있다. 본 발명에서 후처리는 앞서 언급된 방법으로 한정되지 않으며, 발명이 속하는 기술 분야에서 통상의 기술자에게 용이한 방법으로 수행될 수 있다.
앞서 설명한 단계(110, 150)는 선택적인 단계로서, 경우에 따라서 수행될 수도 있고 또는 생략될 수도 있다.
도 2는 일실시예에 따라 입력 영상을 다중 주파수에 대응하는 신호로 변환하는 예시를 나타낸 도면이다.
도 2를 참조하면, 일실시예에 따라 영상 처리 장치가 입력 영상(210)을 복수의 레벨들(Approximation coefficients(220), Horizontal detail coefficients(230), Vertical detail coefficients(240), Diagonal detail coefficients(250))에 대응하는 신호들로 변환하는 예시가 도시된다. 여기서 변환된 신호들은 다중 특징 신호를 의미한다.
웨이블릿 변환은 멀티스케일과 시간-주파수의 지역적 특성에 대해 풍부한 정보를 얻을 수 있는 장점을 가지고 있다.
도 2에 도시된 웨이블릿 변환에서 고역 통과 및 저역 통과 서브 밴드로 분리할 수 있다. 이러한 과정은 저역 통과 서브밴드까지 반복될 수 있다.
도 3은 일실시예에 따른 뉴럴 네트워크를 나타낸 도면이다.
도 3에 도시된 바와 같이, 일실시예에 따른 변환된 신호는 5개의 경로로 구분될 수 있다. 첫번째 경로 skip-concat/sum(310)은 입력된 변환신호를 아무런 처리 없이 통과한 신호에 대응될 수 있고, 통과한 신호는 출력 신호에 대하여 채널 연결 레이어 또는 채널 합 레이어에 의해 결합될 수 있다. 그리고, 나머지 경로는 웨이블릿 변환(330)에 의한 고역 통과 성분들(331, 332, 333)과 저역 통과 성분(334) 신호들에 대응될 수 있다. 이러한 변환 과정은 4가지 성분 이외에 컨투어렛 변환(contourlet transform)과 같은 다양한 변환 과정에 의해 다양한 성분으로 분리될 수 있다.
그리고, 분리된 변환 신호는 선형 변환(linear transform) 연산, 비선형 연산 (nonlinear function), 그리고 정규화(normalization) 연산과 같은 다양한 뉴럴 모사 연산을 통과할 수 있다. 정규화 연산은 다양한 입력신호 f에 대한 평균과 분산을 일정한 형태로 유지하는 것을 나타낸다. 그리고, 조정되거나 복원된 성분들은 웨이블릿 역변환(340)을 통해 출력될 수 있다. 조정되거나 복원된 출력 성분은 통과된 성분(320)과 결합될 수 있으며, 이는 채널 연결 레이어 또는 채널 합 레이어에 의해 결합될 수 있다. 이러한 과정(350)은 저역 통과 성분(334)에 대해 반복될 수 있다.
도 4는 일실시예에 따라 뉴럴 네트워크를 이용하여 영상을 처리하는 예시를 나타낸 도면으로, 일실시예에 따른 영상 처리 장치가 뉴럴 네트워크를 이용하여 영상을 처리하는 예시를 나타낸 것이다.
도 4에서는 희소뷰(sparse view) X-ray CT영상의 국부적인 포아송 또는 가우시안 노이즈 및 전역적인 선형 아티펙트를 제거하는 과정이 도시되어 있다. 입력 영상(410)은 희소뷰 영상으로서, 도 1의 단계(110)에서 입력 영상에 해당되고, 출력 영상(420)은 노이즈가 제거된 영상으로서, 도 1의 단계(140)에서 출력 영상에 해당될 수 있다. 변환(430)은 도 3의 전체 과정에 해당되며, 저역 통과 성분에 대하여 반복될 수 있다. 변환(440)은 재귀적 반복에 의해 도 3의 과정이 N번 반복된 뉴럴 네트워크를 표현할 수 있다.
앞서 설명한 동작들은 노이즈 제거에 국한되지 않고 다양한 영상 복원에 적용될 수 있다. 예를 들면, 영상 해상도의 복원에 적용되는 경우, 입력 영상(410)은 저해상도 영상에 해당되고, 출력 영상(420)은 고해상도 영상에 해당되며, 뉴럴 네트워크 예를 들어, 도 3에 도시된 뉴럴 네트워크는 저해상도 영상과 고해상도 영상으로 지도학습된 인공신경망일 수 있다. 변환(330)과 역변환(340)은 정상 웨이블릿이나 컨투어릿에 국한되지 않으며, 역변환이 존재하는 통상적인 신호 변환도 적용될 수 있다.
기존의 CNN 기반 노이즈 제거기와 같이, 이미지 도메인에서 노이즈 제거 접근 방식을 사용하는 대신, 일실시예에 따른 영상 처리 장치는 웨이블릿 계수에 대한 노이즈 제거 기법을 이용할 수 있다. 이러한 기법은 웨이블릿 수축(wavelet shrinkage)을 사용하는 종래의 노이즈 제거 기법과 관련이 있는 것으로 보일 수 있지만, 일실시예에 따른 영상 처리 장치는 닫힌 형태의 수축 연산자(closed form (analytic) shrinkage operator)를 직접적으로 적용하기 보다는 노이즈가 존재하는 웨이블릿 계수를 노이즈가 제거된 깨끗한 웨이블릿 계수로 매핑하는 학습 가능한 수축 연산자(trainable shrinkage operator)를 이용하여 인터- 및 인트라-스케일 상관 관계(inter- and intra-scale correlations)를 이용할 수 있다.
구체적으로, 도 4에 도시된 바와 같이, 노이즈가 포함된 입력 영상(410)은 뉴럴 네트워크(430)에서 웨이블릿 변환을 사용하여 다중 주파수 채널로 분해되며, 노이즈가 포함된 고역 통과 성분(331, 332, 333)은 컨볼루션 연산자를 사용하여 패치 별로(patch-by-patch)로 디노이즈(denoise)될 수 있다. 그리고, 노이즈가 포함된 통과 성분(334)는 반복적으로 뉴럴 네트워크(440)에서 웨이블릿 변환을 통해 다중 주파수 채널로 분해되며 노이즈가 포함된 고역 통과 성분(331, 332, 333)은 다시 컨볼루션 연산자를 통해 디노이즈 될 수 있으며, 디노이즈 성분은 웨이블릿 역변환을 통해 상위 뉴럴 네트워크에 전달될 수 있다. 이 때 사용하는 웨이블릿 변환은 non-redundant wavelet 변환 및 직접 웨이블릿 변환(directional wavelet transform)을 포함하는 redundant 한 웨이블릿 변환도 포함한다. 또한, 웨이블릿 변환은 Haar 웨이블릿 변환과 컨투어렛 변환 등을 포함할 수 있다.
그리고, 전체 뉴럴 네트워크는 다중의 뉴럴 네트워크 예를 들어, 도 3에 도시된 뉴럴 네트워크가 다중으로 구성될 수 있고, 각 뉴럴 네트워크는 바이패스 연결과 10개의 컨볼루션 레이어들로 구성될 수 있다. 또한, 뉴럴 네트워크는 채널 차원에서 이전 레이어의 여러 출력을 결합하는 채널 연결 레이어(channel concatenation layer)를 포함할 수 있다. 이는 그라디언트(gradient)가 다른 경로를 통해 역전파될 수 있도록 함으로써, 더욱 신속한 엔드 투 엔드(end-to-end) 학습을 가능하게 할 수 있다.
도 5는 일실시예에 따른 컨볼루션 프레임렛에 기반한 간단한 뉴럴 네트워크 및 확장된 뉴럴 네트워크를 나타낸 도면이다.
도 5에 도시된 바와 같이, 뉴럴 네트워크(510)는 컨볼루션 프레임렛에 기반한 뉴럴 네트워크를 나타낸 것으로, 국소 기저 벡터와 듀얼 국소 기저 벡터로 구성된 하나의 레이어로 이루어진 뉴럴 네트워크를 의미할 수 있다.
컨볼루션 프레임렛이란, 입력신호 f에 대하여 국소 기저(
Figure 112018060615348-pat00009
)와 비국소 기저(
Figure 112018060615348-pat00010
)를 이용하여 입력 신호 f를 표현하는 것을 의미한다. 컨볼루션 프레임렛은 <수학식 4>과 같이 표현될 수 있다.
[수학식 4]
Figure 112018060615348-pat00011
Figure 112018060615348-pat00012
는 비국소 기저 벡터를 가지는 선형 변환 연산을 의미하며,
Figure 112018060615348-pat00013
는 국소 기저 벡터를 가지는 선형 변환 연산을 의미한다. 이때, 국소 기저(
Figure 112018060615348-pat00014
)와 상기 국소 듀얼 기저(
Figure 112018060615348-pat00015
)는 서로 직교하며, 비국소 기저(
Figure 112018060615348-pat00016
)와 비국소 듀얼 기저(
Figure 112018060615348-pat00017
)도 서로 직교한다. 기저들 간의 직교 관계는 <수학식 5>와 같이 정의될 수 있다.
[수학식 5]
Figure 112018060615348-pat00018
상기 수학식 5의 조건에 의하여 입력 신호 f는 <수학식 6>와 같이 표현될 수 있다.
[수학식 6]
Figure 112018060615348-pat00019
여기서, Hd는 한켈 행렬 변환 연산(Hankel matrix reconstruction operator)이며, 이는 컨볼루션 연산을 행렬곱(Matrix multiplication)으로 표현할 수 있도록 한다. C는 국소 기저와 비국소 기저에 의하여 변환된 신호 즉, 컨볼루션 프레임렛 계수(convolutional framelet coefficient)를 의미한다. 국소 기저 및 비국소 기저에 의해 변환된 신호 C는 듀얼 기저 (
Figure 112018060615348-pat00020
,
Figure 112018060615348-pat00021
) 연산을 통해 다시 본래의 신호로 복원 될 수 있다, 신호 복원 과정은 <수학식 7>과 같이 표현될 수 있다.
[수학식 7]
Figure 112018060615348-pat00022
이와 같이 국소 기저 및 비국소 기저를 통해 입력 신호를 표현하는 방식을 컨볼루션 프레임렛이라 한다. 위에서 언급한 수학식4 내지 7에 기초하면 도 5에 표기된 1-레이어 뉴럴 네트워크에서의 변환 신호
Figure 112018060615348-pat00023
은
Figure 112018060615348-pat00024
로 표현될 수 있으며, 복원 신호
Figure 112018060615348-pat00025
는
Figure 112018060615348-pat00026
로 표현될 수 있다.
뉴럴 네트워크(520)는 위에서 언급한 컨볼루션 프레임렛에 기반한 확장된 뉴럴 네트워크를 의미하는 것으로, 것으로 인코딩 파트와 디코딩 파트가 대칭 구조(symmetric architecture)로 이루어질 수 있다. 만약 2-레이어 뉴럴 네트워크에서의 변환 신호
Figure 112018060615348-pat00027
는
Figure 112018060615348-pat00028
로 표현될 수 있으며, 복원 신호
Figure 112018060615348-pat00029
는
Figure 112018060615348-pat00030
로 표현될 수 있다. 컨볼루션 프레임렛에 기반한 확장된 뉴럴 네트워크의 해석에 의하여 변환 신호와 복원 신호는 레이어에 따라 국소 기저와 비국소 기저가 반복적으로 적용되며 신호의 최적화 과정이 진행된다. 이와 같이, 뉴럴 네트워크(520)의 해석에 따른 신호의 최적화 과정은 <수학식 8>에 의해 표현될 수 있다.
[수학식 8]
Figure 112018060615348-pat00031
Figure 112018060615348-pat00032
는 L개의 레이어에 의해 변환된 신호이며,
Figure 112018060615348-pat00033
는
Figure 112018060615348-pat00034
로 변환된 신호를 복원한 신호이다.
도 6은 일실시예에 따라 컨볼루션 프레임렛에 기반해 구축된 뉴럴 네트워크를 나타낸 도면이다.
뉴럴 네트워크(610)는 일반적으로 사용되던 유넷(U-Net) 구조의 뉴럴 네트워크를 의미한다. 뉴럴 네트워크(401)는 평균 풀링(Average pooling) 레이어와 평균 언풀링(Average unpooling) 레이어를 비국소 기저로 이용하며, <수학식 9>에 의해 표현될 수 있다.
[수학식 9]
Figure 112018060615348-pat00035
또한 점선으로 표현된 연결 레이어 (By-pass connection layer)를 통해 입력부의 신호를 출력부로 전달해주는 역할을 한다. 이와 같은 기본 유넷 구조는 <수학식 10>과 같이 프레임 연산자 A로 표현될 수 있다.
[수학식 10]
Figure 112018060615348-pat00036
위와 같은 기본 유넷 구조의 프레임 연산자 A는 컨볼루션 프레임의 제약 조건인 <수학식 5>를 만족하지 못하기 때문에, <수학식 11>과 같은 복원 신호가 도출된다.
[수학식 11]
Figure 112018060615348-pat00037
수학시 10에 표현된 것과 같이 뉴럴 네트워크(410)과 같은 일반적인 유넷 구조의 뉴럴 네트워트를 통해 복원된 신호
Figure 112018060615348-pat00038
는 본래 신호
Figure 112018060615348-pat00039
를 완벽히 표현하지 못하며, 저주파 성분인
Figure 112018060615348-pat00040
가 강조되기 때문에 블러한 복원 신호가 생성된다.
뉴럴 네트워크(620)는 듀얼 유넷(Dual U-net) 구조를 보여준다. 기존의 비국소 기저에 의해 변환된 신호 C는
Figure 112018060615348-pat00041
와 같이 표현될 수 있다. 이때, 복원 신호 f는 듀얼 프레임에 의해 복원 될 수 있으며, <수학식 12>에 의해 표현될 수 있다.
[수학식 12]
Figure 112018060615348-pat00042
Figure 112018060615348-pat00043
는 듀얼 프레임을 뜻한다. 수학식 9에 표현된 기본 유넷 구조의 프레임 연산자 A를 수학식 12에 표현된 프레임
Figure 112018060615348-pat00044
에 적용하여 듀얼 프레임
Figure 112018060615348-pat00045
으로 표현하면 <수학식 13>과 같이 표현될 수 있다.
[수학식 13]
Figure 112018060615348-pat00046
Figure 112018060615348-pat00047
는 기본 유넷 구조의 프레임 연산자 A의 듀얼 프레임을 의미한다. 수학식 13과 같이 정의된 듀얼 프레임
Figure 112018060615348-pat00048
를 이용하여 복원 신호를 표현하면 <수학식 14>와 같이 표현될 수 있다.
[수학식 14]
Figure 112018060615348-pat00049
수학식 14에 정의된 수학식에 기반하여 뉴럴 네트워크를 구축하면 뉴럴 네트워크(620)가 도출될 수 있다. 수학식 14에 의해 정의된 듀얼 프레임
Figure 112018060615348-pat00050
은 수학식 10에 의해 정의된 프레임 A 보다 수학적으로 안정적인 성능을 나타내는 것이 증명되었다.
뉴럴 네트워크(630)와 뉴럴 네트워크(440)는 타이트 유넷 (Tight U-net) 구조를 나타내는 뉴럴 네트워크를 의미한다. 뉴럴 네트워크(403)와 뉴럴 네트워크(640)는 컨볼루션 프레임을 만족하도록 타이트 필터 뱅크 (tight filter-back) 또는 웨이블릿을 비국소 기저로 갖는 뉴럴 네트워크로 표현될 수 있다. 타이트 유넷의 비국소 기저는 타이트 프레임을 만족하며, <수학식 15>에 의해 표현될 수 있다.
[수학식 15]
Figure 112018060615348-pat00051
Figure 112018060615348-pat00052
는 타이트 필터 뱅크 또는 웨이블릿 기저이며, c는 임의의 양수 스케일링 인자이다. 수학식 15에 정의된 비국소 기저를 수학식 10으로 정의된 기본 유넷 구조 연산자 A와 같이 재정의하면, <수학식 16>에 의해 표현될 수 있다.
[수학식 16]
Figure 112018060615348-pat00053
위와 같이 정의된 타이트 유넷 구조의 프레임 연산자 A는 컨볼루션 프레임의 제약조건인 수학식 5를 만족한다는 것이 증명될 수 있으며, 이러한 증명 과정은 <수학식 17>에 의해 표현될 수 있다.
[수학식 17]
Figure 112018060615348-pat00054
비선형 연산은 다양한 입력신호 f에 대한 신호의 희소성(sparsity)을 제약하거나, 신호의 포지티비티(positivity)를 제약할 수 있다. 이는 뉴럴 네트워크가 다양한 입력 신호, 또는 변환 신호에 대한 학습이 가능할 수 있게 하며, 이는 선형 변환 연산의 국소, 비국소 기저 벡터가 다양한 해를 찾을 수 있게 한다. 또한, 비선형 연산은 복원 조건을 만족하는 형태의 비선형 연산을 구성할 수 있다.
학습 효과를 높이기 위해 뉴럴 네트워크는 잔여 학습(residual learning)이 적용될 수 있다. 잔여 학습은 선형 변환의 국소 기저를 더욱 낮은 랭크로 만들 수 있어, 뉴럴 네트워크의 불필요한 부담이 크게 감소될 수 있다. 이와 같은 내부 바이패스 연결 또는 외부 바이패스 연결은 깊은 네트워크 학습(deep network training)의 어려움을 극복함으로써, 국소 노이즈 및 비국소 노이즈를 제거하는 성능을 향상시킬 수 있다.
도 7은 일실시예에 따른 타이트 프레임 U-Net을 이용하여 영상을 처리하는 예시를 나타낸 도면으로, 일실시예에 따른 뉴럴 네트워크의 연산구조가 도시된다.
뉴럴 네트워크는 멀티 레이어(multi-layer)를 포함할 수 있으며, 선형 변환(linear transform) 연산을 수행하는 컨볼루션 레이어, 정규화(normalization) 연산을 수행하는 배치 정규화(batch normalization) 레이어, 비선형 함수(nonlinear function) 연산을 수행하는 ReLU(rectified linear unit) 레이어 및 연쇄를 가진 경로 연결을 포함한다. 특히, 각 스테이지는 3 × 3 커널들을 갖는 컨볼루션, 배치 정규화 및 ReLU 레이어들로 구성된 4개의 순차적인 레이어들을 포함한다. 마지막 스테이지는 두 개의 순차적인 레이어들과 마지막 레이어를 포함하며, 마지막 레이어는 1 × 1 커널을 갖는 컨볼루션만을 포함한다. 각 컨볼루션 레이어에 대한 채널 수는 도 5에 도시되어 있으며, 각 풀링 레이어 후에 채널 수는 두 배가 된다. 앞서 설명한 연산들은 파라미터들을 포함할 수 있으며, 이는 지도 학습을 통해 학습될 수 있다. 지도 학습은 일반적으로 손실 함수(loss function)을 설정하고, 손실 함수의 값이 최소화 되도록 인공신경망의 파라미터들이 조정될 수 있다. 손실 함수
Figure 112018060615348-pat00055
의 최소화 문제는 <수학식 18>과 같이 정의될 수 있다.
[수학식 18]
Figure 112018060615348-pat00056
수학식 18에서, y는 입력 신호(510)을 나타내고,
Figure 112018060615348-pat00057
는 국소 기저를 나타내고,
Figure 112018060615348-pat00058
는 비국소 기저를 나타낸다. 그리고, x는 참조 신호를 나타내며,
Figure 112018060615348-pat00059
는 뉴럴 네트워크의 출력 신호(520)를 나타낼 수 있다.
손실 함수
Figure 112018060615348-pat00060
는
Figure 112018060615348-pat00061
놈(norm)을 이용할 수 있으며, <수학식 19>와 같이 정의될 수 있다.
[수학식 19]
Figure 112018060615348-pat00062
크기가 n인 벡터 x는
Figure 112018060615348-pat00063
인 경우, <수학식 20>과 같이 정의될 수 있다.
[수학식 20]
Figure 112018060615348-pat00064
지도 학습은 참조 신호 x의 과적응(overfitting)을 막기 위해서 <수학식 21>과 같이 뉴럴 네트워크의 국소 기저
Figure 112018060615348-pat00065
에 대한 정형화(regularization) 항을 추가하여 최소화 문제를 수행 할 수 있다.
[수학식 21]
Figure 112018060615348-pat00066
여기서 함수
Figure 112018060615348-pat00067
는
Figure 112018060615348-pat00068
을 사용할 수 있다. 예를 들어,
Figure 112018060615348-pat00069
놈을 사용하는 손실 함수와 정형화 항을 최소화 시키는 문제는 <수학식 22>과 같이 표현될 수 있다.
[수학식 22]
Figure 112018060615348-pat00070
뉴럴 네트워크의 국소 기저
Figure 112018060615348-pat00071
를 지도 학습시키기 위한 최소화 문제는 일반적으로 역전파(back propagation)을 통해 수행될 수 있다. 이러한 방식에서, 각 파라미터는 1차 미분에 기반한 경사 하강법(gradient descent)을 통해서 반복적으로 수정될 수 있으며, <수학식 23>와 같이 표현될 수 있다.
[수학식 23]
Figure 112018060615348-pat00072
Figure 112018060615348-pat00073
은 l번째 레이어 fl에서 수행되는 연산의 임의의 변수를 나타내고, t는 변수가 수정된 횟수를 나타낸다. 여기서 기울기
Figure 112018060615348-pat00074
는 통상적으로 미분의 연쇄법칙(chain rule)에 기초하여 계산되며, <수학식 24>과 같이 정의될 수 있다.
[수학식 24]
Figure 112018060615348-pat00075
뉴럴 네트워크에서 선형변환(linear transform) 연산은 임의 차수의 컨볼루션(convolution) 연산을 포함할 수 있으며, 선형 변환이 컨볼루션으로 표현되는 뉴럴 네트워크는 CNN (convolutional neural network)으로 지칭될 수 있다.
비선형 함수(nonlinear function) 연산은 ReLU, CReLU(아래 수학식 25, 26 참조), 시그모이드(sigmoid)(아래 수학식 27 참조), tanh(아래 수학식 28 참조)을 포함할 수 있다.
[수학식 25]
Figure 112018060615348-pat00076
[수학식 26]
Figure 112018060615348-pat00077
[수학식 27]
Figure 112018060615348-pat00078
[수학식 28]
Figure 112018060615348-pat00079
위의 수학식 25 내지 28에서, f는 입력되는 신호의 개별 값에 대해 동일하게 적용될 수 있다.
정규화(normalization) 연산은 배치(batch) 정규화 방식을 포함하며, 배치 정규화는 <수학식 29>와 같이 표현될 수 있다.
[수학식 29]
Figure 112018060615348-pat00080
위의 수학식 29에서,
Figure 112018060615348-pat00081
및
Figure 112018060615348-pat00082
은 지도 학습을 통해서 학습된 파라미터 값이고,
Figure 112018060615348-pat00083
는 임의의 상수 값이다.
일실시예에 따른 뉴럴 네트워크는 <수학식 30>에서 정의된 손실 함수를 최소화함으로써 학습될 수 있다.
[수학식 30]
Figure 112018060615348-pat00084
여기서, w는 컨볼루션 필터들의 계수들 및 배치 정규화 레이어들 내의 파라미터들을 포함하는 모든 네트워크 파라미터들의 집합이고, x, y는 각각 희소뷰 및 일반 선량 CT 이미지이다. F(w, x)는 노이즈가 제거된 복원 영상을 나타낸다. 정규화 파라미터(또는, 감쇠율(decay rate)) 가 이용될 수 있다.
손실 함수의 최소화는 오류 역 전파에 기반하여 수행될 수 있다. 오류 역 전파에서는 초기 학습률(initial learning rate)을 설정하고 학습률(learning rate)은 지속적으로 낮춰질 수 있다. 뉴럴 네트워크의 컨볼루션 커널 가중치(convolution kernel weights)는 임의의 가우스 분포를 사용하여 초기화될 수 있다. 손실 함수는 미니 배치 그라디언트 디센트 알고리즘(mini-batch gradient descent algorithm)을 이용하여 최소화될 수 있다. 또한, 데이터 증가를 위해 학습된 CT 영상은 랜덤하게 shifting, 플립(flip)되거나 회전(rotate)될 수 있다.
상술한 바와 같이, 본 발명의 실시예에 따른 뉴럴 네트워크는 낮은 랭크 한켈 행렬 제약 조건을 만족하고, 프레임 제약 조건(또는 프레임 조건)을 만족하도록 구성함으로써, 입력 영상을 고해상도의 영상으로 복원할 수 있다. 그리고, 본 발명은 컨볼루션 프레임렛 예를 들어, 딥 컨볼루션 프레임렛 기반의 뉴럴 네트워크를 이용하여 영상을 복원(또는 처리)하는 것이다.
이러한 프레임과 한켈 행렬 그리고 딥 컨볼루션 프레임렛에 대해 설명하면 다음과 같다.
힐베르트(Hilbert) 공간 H에서 함수 집합
Figure 112018060615348-pat00085
가 아래 <수학식 31>의 부등식(inequality)을 만족하는 경우 프레임이라고 부를 수 있다.
[수학식 31]
Figure 112018060615348-pat00086
여기서,
Figure 112018060615348-pat00087
는 프레임 범위를 의미하고,
Figure 112018060615348-pat00088
이면 프레임이 타이트하다고 할 수 있다.
프레임은
Figure 112018060615348-pat00089
로 구성된 프레임 연산자
Figure 112018060615348-pat00090
와 연관되며, 상기 수학식 31은 아래 <수학식 32>과 같이 등가적으로 나타낼 수 있다.
[수학식 32]
Figure 112018060615348-pat00091
그리고, 프레임 범위는 아래 <수학식 33>과 같이 나타낼 수 있다.
[수학식 33]
Figure 112018060615348-pat00092
여기서,
Figure 112018060615348-pat00093
및
Figure 112018060615348-pat00094
는 각각 A의 최소 및 최대 특이값(singular value)를 의미할 수 있다.
프레임 범위의 하한
Figure 112018060615348-pat00095
가 0이 아닌 경우
Figure 112018060615348-pat00096
이므로, 오리지널 신호의 복원은 아래 <수학식 34>에서 나타낸 프레임 조건(frame condition)을 만족시키는 듀얼 프레임
Figure 112018060615348-pat00097
를 사용하여 프레임 계수
Figure 112018060615348-pat00098
로부터 행해질 수 있다.
[수학식 34]
Figure 112018060615348-pat00099
듀얼 프레임의 명시적인 형식은 아래 <수학식 35>과 같이 의사-역수(pseudo-inverse)에 의해 주어질 수 있다.
[수학식 35]
Figure 112018060615348-pat00100
프레임 계수가 노이즈
Figure 112018060615348-pat00101
에 의해 오염되면 즉
Figure 112018060615348-pat00102
이 되면, 듀얼 프레임을 사용하는 복원된 신호는
Figure 112018060615348-pat00103
에 의해 주어진다. 따라서, 노이즈 증폭 계수는 아래 <수학식 36>과 같이 계산될 수 있다.
[수학식 36]
Figure 112018060615348-pat00104
여기서,
Figure 112018060615348-pat00105
는 조건 번호를 의미할 수 있다.
타이트 프레임(tight frame)은 최소 노이즈 증폭 계수(
Figure 112018060615348-pat00106
)를 가지며, 아래<수학식 37>와 같은 조건과 동등하다.
[수학식 37]
Figure 112018060615348-pat00107
한켈 행렬(Hankel Matrix)은 딥 컨볼루션 프레임렛 이론(K. Zhang, W. Zuo, Y. Chen, D. Meng, and L. Zhang, "Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising," arXiv preprint arXiv:1608.03981, 2016.)의 핵심적인 요소이므로, 본 발명은 이에 대해 간략히 살펴본다.
경계 조건(boundary condition)의 특별한 처리를 피하기 위해, 본 발명은 주로 순환 컨볼루션(circular convolution)을 사용하여 유도될 수 있다. 단순화하기 위하여, 본 발명은 1 차원 신호 처리를 고려하지만, 2차원 신호 처리로의 확장은 간단하다.
Figure 112018060615348-pat00108
를 입력 신호 벡터라 하면, 랩-어라운드 한켈 행렬(wrap-around Hankel matrix)
Figure 112018060615348-pat00109
은 아래 <수학식 38>과 같이 정의될 수 있다.
[수학식 38]
Figure 112018060615348-pat00110
여기서, d는 행렬 펜슬 파라미터(matrix pencil parameter)를 의미할 수 있다.
다중 채널 신호가 아래 <수학식 39>와 같이 주어지면, 확장된 한켈 행렬은 한켈 행렬을 스택(stack)함으로써, 구성될 수 있으며, 확장된 한켈 행렬은 아래 <수학식 40>과 같이 나타낼 수 있다.
[수학식 39]
Figure 112018060615348-pat00111
[수학식 40]
Figure 112018060615348-pat00112
여기서, 한켈 행렬은 CNN의 컨볼루션 연산과 밀접하게 관련되어 있으며 특히, 주어진 컨볼루션 필터
Figure 112018060615348-pat00113
에 대하여 CNN에서의 단일-입력 단일-출력(SISO) 컨볼루션은 한켈 행렬을 사용하여 아래 <수학식 41>과 같이 표현될 수 있다.
[수학식 41]
Figure 112018060615348-pat00114
유사하게, CNN 필터 커널
Figure 112018060615348-pat00115
을 사용하는 단일-입력 다중-출력(SIMO) 컨볼루션은 아래 <수학식 42>과 같이 나타낼 수 있다.
[수학식 42]
Figure 112018060615348-pat00116
여기서, q는 출력 채널 수를 의미할 수 있다.
CNN의 다중-입력 다중-출력(MIMO) 컨볼루션은 아래 <수학식 43>과 같이 나타낼 수 있다.
[수학식 43]
Figure 112018060615348-pat00117
여기서, p와 q는 각각 입력 채널 수와 출력 채널 수를 의미할 수 있다.
j번째 입력 채널 필터는 아래 <수학식 44>와 같이 나타낼 수 있다.
[수학식 44]
Figure 112018060615348-pat00118
이미지 도메인 CNN에 대한 다중 채널 2D 컨볼루션 연산의 확장은 유사한 행렬 벡터 연산이 사용될 수 있기 때문에 간단할 수 있다. 즉, 이미지 도메인 CNN에 대한 다중 채널 2D 컨볼루션 연산의 확장은 블록 한켈 행렬로 정의되는 한켈 행렬 또는 확장된 한켈 행렬의 정의만 변경하면 된다.
한켈 행렬의 가장 흥미로운 특성 중 하나는 종종 저-랭크(low-rank) 구조를 가지며, 이러한 낮은 랭크(low-rankness)는 푸리에 도메인의 희소성(sparsity)와 관련이 있다는 것이다. 이 속성은 많은 역 문제와 저-레벨의 컴퓨터 비전 문제에 대한 어플리케이션에서 입증된 것처럼 매우 유용하다.
딥 컨볼루션 프레임렛 이론에 대해 간략하게 설명하면 다음과 같다. 기존의 한켈 행렬 방법을 이용하여 아래 <수학식 45>과 같은 회귀 문제를 고려한다.
[수학식 45]
Figure 112018060615348-pat00119
여기서,
Figure 112018060615348-pat00120
는 실제 측정(ground-truth) 신호를 의미할 수 있다.
상기 수학식 45의 문제를 해결하기 위한 고전적 방법은 특이 값 수축 또는 행렬 인수 분해를 사용하는 것이나, 딥 컨볼루션 프레임렛에서는 학습 기반 신호 표현을 사용하여 이 문제를 해결한다.
구체적으로, 상기 수학식 45에 대한 실행 가능한 해 f에 대해, 한켈 구조화된 행렬
Figure 112018060615348-pat00121
는 특이 값 분해
Figure 112018060615348-pat00122
를 갖는다. 상기 식에서
Figure 112018060615348-pat00123
와
Figure 112018060615348-pat00124
는 각각 왼쪽과 오른쪽의 특이 벡터 베이스 행렬을 의미할 수 있다.
Figure 112018060615348-pat00125
는 특이 값을 가지는 대각선 행렬이다. 아래 <수학식 46>에 나타낸 프레임 조건을 만족하는 행렬 쌍
Figure 112018060615348-pat00126
를 고려한다.
[수학식 46]
Figure 112018060615348-pat00127
이러한 기저들은
Figure 112018060615348-pat00128
의 모든 n-요소와
Figure 112018060615348-pat00129
의 왼쪽에 곱해짐으로써 상호 작용하기 때문에 비국소 기저를 의미할 수 있다. 본 발명은 아래 <수학식 47>에 나타낸 저 차원 서브 공간 제약을 만족시키는 다른 행렬 쌍
Figure 112018060615348-pat00130
를 필요로 한다.
[수학식 47]
Figure 112018060615348-pat00131
이들은 신호
Figure 112018060615348-pat00132
의 d-이웃(d-neighborhood)과만 상호 작용하기 때문에 국소 기저를 의미할 수 있다. 상기 수학식 46과 수학식 47를 이용하면, 아래 <수학식 48>과 같은 입력 신호 f에 대한 한켈 행렬 변환 연산을 획득할 수 있다.
[수학식 48]
Figure 112018060615348-pat00133
여기서,
Figure 112018060615348-pat00134
는 한켈 행렬 변환 연산(Hankel matrix reconstruction operator)을 의미할 수 있다.
상기 수학식 48로부터
Figure 112018060615348-pat00135
를 인수 분해하면, 아래 <수학식 49>와 같이 단일 레이어 인코더-디코더 아키텍처를 사용하는 f의 분해가 발생한다.
[수학식 49]
Figure 112018060615348-pat00136
여기서, 인코더와 디코더 컨볼루션 필터는 아래 <수학식 50>와 같이 주어질 수 있다.
[수학식 50]
Figure 112018060615348-pat00137
상기 수학식 49는 랭크-r 한켈 구조 행렬과 관련된 신호의 일반 형식이고, 본 발명은 최적의 성능을 위한 기저들을 특정하는데 관심이 있다. 딥 컨볼루션 프레임렛에서,
Figure 112018060615348-pat00138
및
Figure 112018060615348-pat00139
는 상기 수학식 46의 프레임 조건을 만족하기 위한 사용자 정의 일반화된 풀링(pooling) 및 언풀링(unpooling)에 해당할 수 있다. 반면에, 필터
Figure 112018060615348-pat00140
는 데이터들로부터 추정될 필요가 있으며, 필터의 검색 공간을 제한하기 위하여, 본 발명은 포지티브(positive) 프레임렛 계수를 가지는 신호로 구성된
Figure 112018060615348-pat00141
를 고려할 수 있다. 포지티브(positive) 프레임렛 계수를 가지는 신호로 구성된
Figure 112018060615348-pat00142
는 아래 <수학식 51>과 같이 나타낼 수 있다.
[수학식 51]
Figure 112018060615348-pat00143
뉴럴 네트워크 트레이닝의 주요 목표는
Figure 112018060615348-pat00144
이 랭크-r 한켈 행렬과 관련되어 있다고 가정하고 트레이닝 데이터
Figure 112018060615348-pat00145
로부터
Figure 112018060615348-pat00146
를 학습하는 것이다. 구체적으로, 상기 수학식 45의 랭크-r 한켈 행렬 제약 조건하에서 트레이닝 데이터에 대한 본 발명의 회귀 문제는 아래 <수학식 52>와 같이 주어질 수 있다.
[수학식 52]
Figure 112018060615348-pat00147
상기 수학식 52는 아래 <수학식 53>과 같이 표현될 수 있다.
[수학식 53]
Figure 112018060615348-pat00148
여기서,
Figure 112018060615348-pat00149
는 아래 <수학식 54>와 같이 나타낼 수 있다.
[수학식 54]
Figure 112018060615348-pat00150
여기서, C는 아래 <수학식 55>와 같이 나타낼 수 있다.
[수학식 55]
Figure 112018060615348-pat00151
여기서,
Figure 112018060615348-pat00152
는 프레임렛 계수에 포지티비티(positivity)를 부여하는 ReLU(rectified linear unit)을 의미할 수 있다.
네트워크가 완전히 트레이닝 된 후, 주어진 노이즈 입력 f에 대한 추론은
Figure 112018060615348-pat00153
에 의해 간단히 수행될 수 있으며, 이 방법은 랭크-r 한켈 구조 행렬을 가지며 노이즈가 제거된 해를 찾는 것과 동일하다.
도 8은 일실시예에 따른 뉴럴 네트워크에 대한 지도학습의 효율성을 나타낸 도면이다.
도 8을 참조하면, 일실시예에 따른 다중 주파수 영역에서 적용된 인공신경망의 지도학습 효율성을 나타낸 그래프가 도시된다. 그래프는 희소뷰 X선 CT영상의 노이즈 제거에 사용된 인공신경망의 학습 결과를 나타낼 수 있다. 다중 주파수 영역에서 인공신경망을 이용해 노이즈 제거를 수행한 기법이 단일 주파수 영역에서 인공신경망이 적용된 것에 비해 PSNR (peak signal to noise ratio), NMSE(normalized mean squared errors)에서 모두 우수한 결과를 보인다.
도 9는 일실시예에 따른 정상 영상, 노이즈가 포함된 입력 영상 및 노이즈가 제거된 출력 영상의 예시를 나타낸 도면이다.
도 9를 참조하면, 일실시예에 따른 노이즈가 포함된 희소뷰 CT 영상에서 앞서 설명한 영상 처리 방법의 처리 결과가 도시된다. 도 7에서는 전체뷰 X선 CT 영상(710), 희소뷰 X선 CT 영상(720), 단일 주파수 영역에서 뉴럴 네트워크를 이용한 방식으로 저선량 영상을 복원한 결과 영상(730), 다중 주파수 영역에서 뉴럴 네트워크를 이용한 방식으로 저선량 영상을 복원한 결과 영상(740)이 도시된다. 일실시예에 따른 영상 처리 방법을 통해 노이즈가 제거된 결과 영상(740)이 단일 주파수 영역에서 뉴럴 네트워크를 이용한 방식의 결과 영상(730)보다 우수한 것을 확인할 수 있다.
도 10은 일실시예에 따른 영상 복원 방법을 나타낸 도면이다.
도 10을 참조하면, 일실시예에 따른 영상 복원 장치의 프로세서에 의해 수행되는 영상 복원 방법이 도시된다.
단계(1010)에서, 영상 복원 장치는 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환한다. 일례로, 영상 처리 장치는 비국소 기저 변환을 이용하여 입력 영상을 서로 다른 영역에 대응하는 신호들로 분해하여 변환할 수 있다. 구체적으로, 영상 처리 장치는 입력 영상에 비국소 기저 변환을 적용함으로써, 입력 영상을 다중 특징 신호들로 변환할 수 있다.
이 때, 영상 복원 장치는 입력 영상 또는 상위 뉴럴 네트워크의 통과 성분에 비국소 기저 변환을 적용함으로써, 입력 영상 또는 상위 뉴럴 네트워크의 통과 성분을 서로 다른 영역에 대응하는 신호들로 변환할 수 있다. 여기서, 비국소 기저 변환은 상위 뉴럴 네트워크의 통과 성분에 대하여 반복적으로 다중 주파수 성분이 분해되도록 상위 뉴럴 네트워크의 통과 성분을 서로 다른 영역에 대응하는 신호들로 변환할 수 있다.
구체적으로, 영상 복원 장치는 뉴럴 네트워크 내 히든 레이어(hidden layer)에서의 특징 신호(feature signal)의 계수 성분에 비국소 기저 변환을 적용함으로써, 특징 신호의 계수 성분을 신호의 손실 없이 다중 특징 신호들로 변환할 수 있다.
비국소 기저 변환은, 분리된 신호에 뉴럴 네트워크를 적용하여, 특징 신호의 계수 성분을 신호의 손실 없이 다중 특징 신호들로 변환할 수 있다. 비국소 기저 변환에 기초하여 입력 영상과 뉴럴 네트워크 내 히든 레이어에서의 특징 신호의 계수 성분에 포함된 국소적 노이즈 및, 비국소적 노이즈의 방향성 성분이 분해(decompose)되도록 입력 영상 및 특징 신호의 계수 성분이 신호의 손실 없이 다중 특징 신호들로 변환될 수 있다.
일실시예에 따른 영상 복원 장치는 입력 영상에 웨이블릿 변환(wavelet transform)을 적용함으로써, 입력 영상을 신호들로 변환할 수 있다. 영상 처리 장치는 웨이블릿 변환에 기초하여 입력 영상에 포함된 노이즈 성분이 분해(decompose)되도록 입력 영상을 신호들로 변환할 수 있다.
일실시예에 따른 영상 복원 장치는 상위 뉴럴 네트워크의 저역 통과 성분에 대하여 반복적으로 웨이블릿 변환을 적용할 수 있다. 영상 처리 장치는 입력 영상을 동일한 세기 범위(intensity range)를 가지는 복수의 레벨의 신호들로 변환할 수 있다.
단계(1020)에서, 영상 복원 장치는 미리 학습된 낮은 랭크를 갖는 기저 벡터들을 갖는 뉴럴 네트워크를 이용하여, 노이즈 성분이 포함된 계수들을 복원한다. 영상 처리 장치는 컨볼루션 뉴럴 네트워크를 이용하여, 다중 특징 성분으로 분리된 계수들에 포함된 노이즈를 제거할 수 있다. 뉴럴 네트워크는 뉴럴 네트워크에 포함된 복수의 레이어들의 출력을 결합하는 채널 연결 레이어(channel concatenation layer) 또는 채널 합 레이어 (channel sum layer)를 포함할 수 있다.
단계(830)에서, 영상 복원 장치는 변환된 신호들의 계수들을 비선형 함수를 이용하여, 변환된 계수들을 조정한다. 여기서, 비선형 함수는 ReLU, 시그모이드, tanh 연산이 될 수 있다. 또한, 비선형 함수는 CReLU와 같은 복원 조건을 만족하는 형태의 비선형 함수도 포함될 수 있다. 이때, 단계(820)의 계수들을 복원하는 것과 단계(1030)의 변환된 계수들을 조정하는 것은 구성된 뉴럴 네트워크의 형태에 따라 반복적으로 수행될 수 있다.
단계(1040)에서, 영상 복원 장치는 복원된 계수들을 이용하여 결정된 전체 계수를 출력 영상으로 역변환한다. 일실시예에 따른 역변환은 단계(810)에서 수행된 변환의 역일 수 있다. 전체 계수는 변환된 신호들의 전체 영역에 대한 계수일 수 있다.
입력 영상은 노이즈가 포함된 의료 영상이고, 출력 영상은 노이즈가 제거된 의료 영상일 수 있다. 또는, 입력 영상은 저해상도의 의료 영상이고, 출력 영상은 고해상도의 의료 영상일 수 있다.
도 10에 도시된 각 단계들에는 도 1 내지 도 9를 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.
이와 같이, 본 발명의 실시예들에 따른 방법은 컨볼루션 프레임렛 기반 뉴럴 네트워크를 이용하여 영상을 복원함으로써, 영상 복원 성능을 향상시키고, 복원에 필요한 연산량을 줄일 수 있으며, 복원 속도를 개선할 수 있다. 여기서, 본 발명에서의 뉴럴 네트워크는 다중 해상도 뉴럴 네트워크, 프레임 조건(또는 프레임 제약 조건)을 만족하는 뉴럴 네트워크, 낮은 랭크 한켈 행렬 제약 조건을 만족하는 뉴럴 네트워크, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.
나아가, 본 발명의 실시예에 따른 방법은 복원하고자 하는 입력 영상을 수신하고, 수신된 입력 영상을 상술한 과정에 의해 학습 또는 구성된 뉴럴 네트워크 예를 들어, 낮은 랭크 한켈 행렬 제약 조건을 만족하는 뉴럴 네트워크, 프레임 제약 조건을 만족하는 뉴럴 네트워크, 컨볼루션 프레임렛 기반의 수학적 해석을 통해 생성된 학습 모델에 의해 학습된 뉴럴 네트워크 중 적어도 하나를 이용하여 입력 영상에 대한 고해상도의 영상을 복원할 수 있다. 여기서, 뉴럴 네트워크를 이용하여 영상을 복원하는 과정은 상기 도 1 내지 도 10의 내용을 모두 포함할 수 있다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (20)

  1. 입력 영상을 수신하는 단계; 및
    미리 설정된 프레임 제약 조건을 만족하는 컨볼루션 프레임렛 기반 뉴럴 네트워크를 이용하여 상기 입력 영상에 대한 출력 영상을 복원하는 단계
    를 포함하는 영상 복원 방법.
  2. 제1항에 있어서,
    상기 복원하는 단계는
    상기 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하는 단계;
    비선형 함수를 이용하여 상기 변환된 신호들의 계수들을 조정하는 단계;
    상기 조정된 계수들을 복원하는 단계; 및
    상기 복원된 계수들을 이용하여 결정된 전체 계수를 상기 출력 영상으로 역변환하는 단계
    를 포함하는 것을 특징으로 하는 영상 복원 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 뉴럴 네트워크는
    낮은 랭크 한켈 행렬 제약 조건을 만족하는 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 복원 방법.
  5. 제2항에 있어서,
    상기 변환하는 단계는
    상기 입력 영상에 웨이블릿 변환(wavelet transform), 코사인 변환(cosine transform)과 푸리에 변환 중 적어도 하나를 적용함으로써, 상기 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하는 것을 특징으로 하는 영상 복원 방법.
  6. 제2항에 있어서,
    상기 변환하는 단계는
    비국소 기저 변환에 기초하여 상기 입력 영상과 상기 뉴럴 네트워크 내 히든 레이어에서의 특징 신호의 계수 성분에 포함된 국소 노이즈 및 비국소 노이즈의 방향성 성분이 분해(decompose)되도록 상기 입력 영상 및 상기 특징 신호의 계수 성분을 신호의 손실 없이 다중 특징 신호들로 변환하는 것을 특징으로 하는 영상 복원 방법.
  7. 제2항에 있어서,
    상기 조정하는 단계 및 상기 복원하는 단계는
    상기 뉴럴 네트워크의 형태에 따라 반복적으로 수행되는 것을 특징으로 하는 영상 복원 방법.
  8. 제1항에 있어서,
    상기 복원하는 단계는
    상기 뉴럴 네트워크를 이용하여 상기 입력 영상의 국소 노이즈 및 비국소 노이즈를 제거하는 것을 특징으로 하는 영상 복원 방법.
  9. 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하는 단계;
    비선형 함수를 이용하여, 상기 변환된 신호들의 계수들을 조정하는 단계;
    미리 학습된 컨볼루션 프레임렛 기반 뉴럴 네트워크를 이용하여 상기 조정된 계수들을 복원하는 단계; 및
    상기 복원된 계수들을 이용하여 결정된 전체 계수를 출력 영상으로 역변환하는 단계
    를 포함하는 영상 복원 방법.
  10. 제9항에 있어서,
    상기 변환하는 단계는
    상기 입력 영상에 비국소 기저 변환을 적용함으로써, 상기 입력 영상을 다중 특징 신호들로 변환하는 것을 특징으로 하는 영상 복원 방법.
  11. 제9항에 있어서,
    상기 변환하는 단계는
    상기 입력 영상에 웨이블릿 변환(wavelet transform), 코사인 변환(cosine transform)과 푸리에 변환 중 적어도 하나를 적용함으로써, 상기 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하는 것을 특징으로 하는 영상 복원 방법.
  12. 제9항에 있어서,
    상기 변환하는 단계는
    비국소 기저 변환에 기초하여 상기 입력 영상과 상기 뉴럴 네트워크 내 히든 레이어에서의 특징 신호의 계수 성분에 포함된 국소 노이즈 및 비국소 노이즈의 방향성 성분이 분해(decompose)되도록 상기 입력 영상 및 상기 특징 신호의 계수 성분을 신호의 손실 없이 다중 특징 신호들로 변환하는 것을 특징으로 하는 영상 복원 방법.
  13. 제9항에 있어서,
    상기 조정하는 단계 및 상기 복원하는 단계는
    상기 뉴럴 네트워크의 형태에 따라 반복적으로 수행되는 것을 특징으로 하는 영상 복원 방법.
  14. 제9항에 있어서,
    상기 뉴럴 네트워크는
    미리 설정된 프레임 제약 조건을 만족하는 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 복원 방법.
  15. 삭제
  16. 제9항에 있어서,
    상기 뉴럴 네트워크는
    낮은 랭크 한켈 행렬 제약 조건을 만족하는 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 복원 방법.
  17. 제9항에 있어서,
    상기 복원하는 단계는
    상기 뉴럴 네트워크를 이용하여 상기 입력 영상의 국소 노이즈 및 비국소 노이즈를 제거하는 것을 특징으로 하는 영상 복원 방법.
  18. 제9항에 있어서,
    상기 조정하는 단계는
    국소 기저 변환과 상기 비선형 함수를 이용하여, 상기 변환된 신호들의 계수들을 조정하는 것을 특징으로 하는 영상 복원 방법.
  19. 제9항에 있어서,
    상기 복원하는 단계는
    상기 뉴럴 네트워크에 포함된 컨볼루션 뉴럴 네트워크(CNN; convolutional neural network)를 이용하여 저해상도 영상을 고해상도 영상으로 변환하는 것을 특징으로 하는 영상 복원 방법.
  20. 영상 복원 장치에 있어서,
    적어도 하나의 프로세서를 포함하고,
    상기 프로세서는 입력 영상을 수신하며,
    미리 설정된 프레임 제약 조건을 만족하는 컨볼루션 프레임렛 기반 뉴럴 네트워크를 이용하여 상기 입력 영상에 대한 출력 영상을 복원하는 영상 복원 장치.
KR1020180070873A 2017-08-30 2018-06-20 확장된 뉴럴 네트워크를 이용한 영상 복원 방법 및 장치 KR102089151B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/109,963 US10853977B2 (en) 2017-08-30 2018-08-23 Apparatus and method for reconstructing image using extended neural network

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170110387 2017-08-30
KR1020170110387 2017-08-30

Publications (2)

Publication Number Publication Date
KR20190024636A KR20190024636A (ko) 2019-03-08
KR102089151B1 true KR102089151B1 (ko) 2020-03-13

Family

ID=65801050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180070873A KR102089151B1 (ko) 2017-08-30 2018-06-20 확장된 뉴럴 네트워크를 이용한 영상 복원 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102089151B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11540798B2 (en) 2019-08-30 2023-01-03 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102359474B1 (ko) * 2019-03-25 2022-02-08 한국과학기술원 뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치
US11748851B2 (en) 2019-03-25 2023-09-05 Korea Advanced Institute Of Science And Technology Method of replacing missing image data by using neural network and apparatus thereof
KR102319643B1 (ko) * 2019-04-30 2021-11-01 한국과학기술원 점 확산 함수 레이어를 가진 뉴럴 네트워크를 이용한 현미경 영상 처리 방법 및 그 장치
KR102317337B1 (ko) * 2019-07-30 2021-10-26 한국과학기술원 다양한 센서 조건에서의 초음파 영상 처리 장치 및 그 방법
KR102225747B1 (ko) * 2019-08-06 2021-03-10 한국과학기술원 단일 뉴럴 네트워크를 이용한 다중 관심영역의 내부 단층촬영 영상 처리 방법 및 그 장치
KR102329938B1 (ko) * 2019-10-04 2021-11-23 한국과학기술원 뉴럴 네트워크를 이용한 콘빔 단층촬영 영상 처리 방법 및 그 장치
KR102367090B1 (ko) * 2020-07-07 2022-02-23 재단법인 대구경북첨단의료산업진흥재단 초해상도 합성곱 신경망 기반의 광음향 현미경 영상 수치 재초점 방법 및 장치
US20220020155A1 (en) * 2020-07-16 2022-01-20 Korea Advanced Institute Of Science And Technology Image segmentation method using neural network based on mumford-shah function and apparatus therefor
CN111986121B (zh) * 2020-09-24 2024-01-09 南京航空航天大学 基于Framelet l0范数约束的模糊图像非盲复原方法
KR102315359B1 (ko) * 2021-02-01 2021-10-21 한양대학교 산학협력단 밀집 순환 합성곱 신경망을 이용한 블라인드 동영상 잡음 제거 시스템 및 방법
KR102553068B1 (ko) * 2021-04-20 2023-07-06 연세대학교 원주산학협력단 다중 레벨 웨이브렛 인공지능 기반 선량 저 감화를 위한 컴퓨터 단층영상 재구성 방법
CN116824525B (zh) * 2023-08-29 2023-11-14 中国石油大学(华东) 一种基于交通道路影像的图像信息提取方法
CN117994256B (zh) * 2024-04-07 2024-05-31 中国海洋大学 基于傅里叶变换神经算子的海温图像补全方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193680A1 (en) * 2016-01-04 2017-07-06 Kla-Tencor Corporation Generating high resolution images from low resolution images for semiconductor applications
KR101791573B1 (ko) 2016-10-21 2017-10-31 서강대학교산학협력단 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130074860A (ko) * 2011-12-27 2013-07-05 건국대학교 산학협력단 영화 필름 손상 복원장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193680A1 (en) * 2016-01-04 2017-07-06 Kla-Tencor Corporation Generating high resolution images from low resolution images for semiconductor applications
KR101791573B1 (ko) 2016-10-21 2017-10-31 서강대학교산학협력단 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Eunhee Kang ET AL:"Wavelet Residual Network for Low-Dose CT via Deep Convolutional Framelets", arXiv:1707.09938v1 (https://arxiv.org/abs/1707.09938v1), 31 July 2017(2017.07.31.) 1부.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11540798B2 (en) 2019-08-30 2023-01-03 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising

Also Published As

Publication number Publication date
KR20190024636A (ko) 2019-03-08

Similar Documents

Publication Publication Date Title
KR102089151B1 (ko) 확장된 뉴럴 네트워크를 이용한 영상 복원 방법 및 장치
US10853977B2 (en) Apparatus and method for reconstructing image using extended neural network
KR102094598B1 (ko) 뉴럴 네트워크를 이용한 희소 뷰 전산단층 촬영 영상 처리 방법 및 그 장치
Ye et al. Deep convolutional framelets: A general deep learning framework for inverse problems
KR101961177B1 (ko) 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치
Bnou et al. A wavelet denoising approach based on unsupervised learning model
KR102215702B1 (ko) 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치
Selesnick et al. Signal restoration with overcomplete wavelet transforms: Comparison of analysis and synthesis priors
CN110276726B (zh) 一种基于多通道网络先验信息引导的图像去模糊方法
KR102061967B1 (ko) 뉴럴 네트워크를 이용한 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치
Quan et al. Data-driven multi-scale non-local wavelet frame construction and image recovery
Pfister et al. Learning filter bank sparsifying transforms
Singh et al. ResDNN: deep residual learning for natural image denoising
Grigoryan et al. Optimal Wiener and homomorphic filtration
Pfister et al. Learning sparsifying filter banks
Canh et al. Multi-scale deep compressive imaging
Shen et al. Removal of mixed Gaussian and impulse noise using directional tensor product complex tight framelets
CN112270650A (zh) 基于稀疏自编码器的图像处理方法、系统、介质、设备
CN113962882B (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
Chan et al. Wavelets for sensing technologies
CN108649926B (zh) 基于小波基张量稀疏表示的das数据去噪方法
Chen et al. Image deblurring via combined total variation and framelet
Cammarasana et al. Learning-based low-rank denoising
Zavala-Mondragón et al. A Signal Processing Interpretation of Noise-Reduction Convolutional Neural Networks: Exploring the mathematical formulation of encoding-decoding CNNs
Zhao et al. Local-and-nonlocal spectral prior regularized tensor recovery for Cauchy noise removal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant