KR20180010950A - 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치 - Google Patents

뉴럴 네트워크를 이용한 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20180010950A
KR20180010950A KR1020170016660A KR20170016660A KR20180010950A KR 20180010950 A KR20180010950 A KR 20180010950A KR 1020170016660 A KR1020170016660 A KR 1020170016660A KR 20170016660 A KR20170016660 A KR 20170016660A KR 20180010950 A KR20180010950 A KR 20180010950A
Authority
KR
South Korea
Prior art keywords
coefficients
image
neural network
input image
transform
Prior art date
Application number
KR1020170016660A
Other languages
English (en)
Other versions
KR101961177B1 (ko
Inventor
예종철
민준홍
강은희
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20180010950A publication Critical patent/KR20180010950A/ko
Application granted granted Critical
Publication of KR101961177B1 publication Critical patent/KR101961177B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G06F19/321—
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)

Abstract

뉴럴 네트워크를 이용한 영상 처리 방법 및 장치가 개시된다. 개시된 영상 처리 방법은 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하고, 변환된 신호들의 계수들 중 미리 결정된 주파수대역 신호의 계수를 제외한 나머지 계수들을 식별하고, 미리 학습된 뉴럴 네트워크를 이용하여, 나머지 계수들을 복원하며, 복원된 계수들 및 미리 결정된 주파수대역 신호의 계수에 기초하여 결정된 전체 계수를 출력 영상으로 역변환한다.

Description

뉴럴 네트워크를 이용한 영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING IMAGE BASED ON NEURAL NETWORK}
아래의 설명은 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치에 관한 것으로, 보다 구체적으로는 신호변환 영역에서 뉴럴 네트워크를 이용하여 영상을 처리하는 방법 및 장치에 관한 것이다.
신호처리분야에서 신호 복원이란 알고리즘 또는 시스템을 이용해 노이즈(noise)가 포함된 신호에서 노이즈 성분을 제거하거나, 일부 정보가 손실된 저차원 신호에서 손실된 정보를 추정하여 고차원 신호로 복원하는 것을 말한다. 여기서 신호는 1차원 신호인 음성, 2차원 신호인 영상, 3차원 신호인 동영상 등을 포함할 수 있으며, 임의의 차수를 가지는 N차원(여기서, N은 자연수) 신호가 될 수 있다.
노이즈는 신호의 수집 단계나 전/후처리 등 다양한 단계에서 발생할 수 있으며, 가우시안(Gaussian), 포아송(Poisson) 분포를 따르는 노이즈가 대표적이다. 일반적으로, 노이즈 제거(denoising)는 노이즈 제거 필터(denoise filter)를 신호에 적용하는 방식이 대표적이며, 가우시안 스무딩 필터(Gaussian smoothing filter)나 비/국지 평균필터(local/non-local averaging filter) 등이 있다. 영상의 경우에는, 국지적인 영상 패치(patch)등을 함께 필터링하는 방식(patch based collaborative filtering)등도 많이 사용된다. 또한, 대량의 데이터를 통해 지도학습된 뉴럴 네트워크를 통해 노이즈 성분을 제거하는 방식도 존재한다.
본 발명은 영상에 노이즈가 존재하거나 영상의 일부 정보가 유실되었을 경우 신호변환 영역에서 뉴럴 네트워크를 이용함으로써 영상을 복원하는 방법을 제공할 수 있다.
본 발명은 신호변환 영역에서 뉴럴 네트워크를 적용하여 일부 주파수대역 신호의 계수를 제외한 나머지 계수들을 복원하고, 이 때 복원되는 계수가 국지적 계수에 해당함으로써, 복원 성능을 향상시키고, 복원에 필요한 연산량을 줄일 수 있으며 및 복원 속도를 개선할 수 있다.
본 발명은 모듈구조를 가지는 뉴럴 네트워크를 이용함으로써, 뉴럴 네트워크의 지도 학습에 필요한 학습 시간을 단축하고, 학습 효율을 향상시킬 수 있다.
본 발명은 임의의 차수의 신호에 적용 가능한 변환 및 역변환과 뉴럴 네트워크를 이용함으로써, 범용적인 신호 복원도 적용 가능하다.
일실시예에 따른 영상 처리 방법은 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하는 단계; 상기 변환된 신호들의 계수들 중 미리 결정된 주파수대역 신호의 계수를 제외한 나머지 계수들을 식별하는 단계; 미리 학습된 뉴럴 네트워크를 이용하여, 상기 나머지 계수들을 복원하는 단계; 및 상기 복원된 계수들 및 상기 미리 결정된 주파수대역 신호의 계수에 기초하여 결정된 전체 계수를 출력 영상으로 역변환하는 단계를 포함한다.
일실시예에 따른 영상 처리 방법에서 상기 변환하는 단계는, 상기 입력 영상에 포함된 결함(defect)의 특성을 부각시키면서 역변환이 가능한 변환 기법을 이용하여 상기 입력 영상을 상기 신호들로 변환할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 변환 기법은, 웨이블릿 변환(wavelet transform), 코사인 변환(cosine transform), 사인 변환(sine transform), 푸리에 변환(Fourier transform), 이산 변환(discrete transform) 중 어느 하나를 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 변환하는 단계는, 상기 입력 영상에 포함된 결함의 방향성 성분이 분해(decompose)되도록 상기 입력 영상을 상기 신호들로 변환할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 변환된 신호들의 계수들은, 상기 변환된 신호들의 일부 영역에 대한 계수이고, 상기 전체 계수는 상기 변환된 신호들의 전체 영역에 대한 계수일 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 변환된 신호들은, 고주파 신호일수록 서로 다른 방향성 성분에 해당하는 서브 밴드를 많이 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 변환하는 단계는, 상기 입력 영상을 동일한 세기 범위(intensity range)를 가지는 복수의 레벨의 상기 신호들로 변환할 수 있다. Normalization을 설명
일실시예에 따른 영상 처리 방법에서 상기 복원하는 단계는, 상기 뉴럴 네트워크를 이용하여, 상기 나머지 계수들에 포함된 결함을 제거하고, 상기 뉴럴 네트워크는, 컨볼류션 뉴럴 네트워크일 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 복원하는 단계는, 상기 뉴럴 네트워크를 이용하여, 상기 나머지 계수들의 손실 주파수 성분을 복원할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 뉴럴 네트워크는, 상기 뉴럴 네트워크에 포함된 복수의 레이어들의 출력을 스택(stack)하는 채널 연결 레이어(channel concatenation layer)를 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 입력 영상은, 노이즈가 포함된 영상이고, 상기 출력 영상은 상기 노이즈가 제거된 영상일 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 입력 영상은, 저해상도의 영상이고, 상기 출력 영상은, 고해상도의 영상일 수 있다.
일실시예에 따른 상기 입력 영상은, 상기 입력 영상의 일부 영역이 손실된 영상이고, 상기 출력 영상은, 상기 손실된 일부 영역이 복원된 영상일 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 미리 결정된 주파수대역 신호는, 상기 변환된 신호들 중에서 일부 주파수대역 신호 또는 전체 주파수대역 신호에 해당할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 전체 계수는, 상기 복원된 계수들 및 상기 일부 주파수대역 신호의 계수 간의 덧셈 또는 접합(concatenation)으로 결정될 수 있다.
일실시예에 따른 영상 처리 장치는 프로세서; 및 상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리를 포함하고, 상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하고, 상기 변환된 신호들의 계수들 중 미리 결정된 주파수대역 신호의 계수를 제외한 나머지 계수들을 식별하고, 미리 학습된 뉴럴 네트워크를 이용하여, 상기 나머지 계수들을 복원하며, 상기 복원된 계수들 및 상기 미리 결정된 주파수대역 신호에 대응하는 계수에 기초하여 결정된 전체 계수를 출력 영상으로 역변환한다.
일실시예들에 따르면, 신호변환 영역에서 뉴럴 네트워크를 적용하여 일부 주파수대역 신호의 계수를 제외한 나머지 계수들을 복원하고, 이 때 복원되는 계수가 국지적 계수에 해당함으로써, 복원 성능을 향상시키고, 복원에 필요한 연산량을 줄일 수 있으며 및 복원 속도를 개선할 수 있다.
일실시예들에 따르면, 모듈구조를 가지는 뉴럴 네트워크를 이용함으로써, 뉴럴 네트워크의 지도 학습에 필요한 학습시간을 단축하고, 학습 효율을 향상시킬 수 있다.
일실시예들에 따르면, 임의의 차수의 신호에 적용 가능한 변환 및 역변환과 뉴럴 네트워크를 이용함으로써, 범용적인 신호 복원도 적용 가능하다.
도 1은 일실시예에 따라 입력 영상을 처리하는 과정을 설명하기 위한 도면이다.
도 2 및 도 3은 일실시예에 따라 입력 영상을 변환하는 예시를 나타낸 도면이다.
도 4는 일실시예에 따라 뉴럴 네트워크를 이용하여 영상을 처리하는 예시를 나타낸 도면이다.
도 5 및 도 6은 일실시예에 따른 뉴럴 네트워크를 나타낸 도면이다.
도 7은 일실시예에 따른 뉴럴 네트워크에 대한 지도학습의 효율성을 나타낸 도면이다.
도 8은 일실시예에 따른 정상 영상, 결함이 포함된 입력 영상 및 결함이 제거된 출력 영상의 예시를 나타낸 도면이다.
도 9는 일실시예에 따른 영상 처리 방법을 나타낸 도면이다.
도 10은 일실시예에 따른 영상 처리 장치를 나타낸 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
하기에서 설명될 실시예들은 입력 영상을 복원하는 데 사용될 수 있다. 이하, 입력 영상을 복원하는 동작은 입력 영상에 포함된 노이즈를 제거하거나 저해상도의 입력 영상을 고해상도로 변환하는 동작을 포함할 수 있다. 실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치, 의료 영상 처리 장치 등 다양한 형태의 제품으로 구현될 수 있다. 예를 들어, 실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 의료 영상 처리 장치 등에서 입력 영상을 복원하는 데 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따라 입력 영상을 처리하는 과정을 설명하기 위한 도면이다.
도 1을 참조하면, 일실시예에 따라 영상 처리 장치가 입력 영상을 처리하는 과정을 설명하기 위한 흐름도가 도시된다.
일실시예에 따른 영상 처리 장치는 입력 영상을 처리하는 장치로서, 예를 들어, 입력 영상에 포함된 노이즈를 제거하거나, 입력 영상의 해상도를 증가시키거나 또는 입력 영상에서 일부 손실된 부분을 복원하는 처리를 수행할 수 있다. 영상 처리 장치는 상술된 처리를 통해 입력 영상에 포함된 노이즈가 제거되거나, 입력 영상의 해상도가 향상되거나 또는 입력 영상에서 손실된 일부분이 복원된 출력 영상을 출력할 수 있다.
여기서, 입력 영상은 이미지 센서(예컨대, 의료 영상 장비 또는 광학 영상 장비에 포함된 이미지 센서 등)에 의해 촬영된 영상으로, 예를 들어, 환자 또는 환자의 일부가 촬영된 의료 영상일 수 있다. 예를 들어, 노이즈가 포함된 입력 영상은 저선량으로 촬영된 X선 영상, 짧은 노출(short exposure time) 또는 저조명(low illumination)으로 촬영된 광학 영상, 저자장(low magnetic field)으로 촬영된 MRI 영상을 포함할 수 있다. 또한, 입력 영상은 노이즈가 포함되거나 저해상도인 영상뿐만 아니라, 일부 영상이 손실된 영상일 수도 있다.
의료 영상 장비는 MRI(magnetic resonance imaging), X-ray, X-ray CT(computed tomography), X-ray tomosynthesis 초음파영상, PET(positron emission tomography)을 포함할 수 있다. 광학 영상 장비는 광학 현미경(optical microscopy), 형광현미경 (fluorescence microscopy), 공초점 현미경(confocal microscopy), OCT(optical coherence tomography), 내시경 영상 장비를 포함할 수 있다.
단계(110)에서, 영상 처리 장치는 입력 영상을 전처리할 수 있다. 일실시예에 따른 영상 처리 장치는 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하기에 앞서 다양한 전처리 기법을 입력 영상에 적용할 수 있다.
예를 들어, 영상 처리 장치는 보간 기법 또는 보간 필터를 이용하여 저해상도의 입력 영상을 고해상도 영상으로 변환할 수 있다. 또한, 영상 처리 장치는 노이즈 제거 필터를 이용하여 입력 영상에 포함된 노이즈를 제거할 수 있다. 또한, 영상 처리 장치는 부분주파수대역 필터를 이용하여 입력 영상을 전처리할 수 있다. 또한, 영상 처리 장치는 회기분석을 이용하여 입력 영상을 전처리할 수 있다. 여기서, 회기분석은 주성분분석(principle component analysis)을 이용하는 기법을 의미할 수 있다.
단계(120)에서, 영상 처리 장치는 전처리된 입력 영상을 신호들로 변환한다. 일실시예에 따른 영상 처리 장치는 전처리된 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환한다. 영상 처리 장치는 입력 영상에 포함된 결함(defect)(예컨대, 노이즈, 저해상도, 손실)의 특성을 부각시키면서 역변환이 가능한 변환 기법을 이용하여 입력 영상을 신호들로 변환할 수 있다.
예를 들어, 변환 기법으로 웨이블릿 변환(wavelet transform), 코사인 변환(cosine transform), 사인 변환(sine transform), 푸리에 변환(Fourier transform), 이산 변환(discrete transform) 중 어느 하나가 적용될 수 있다.
단계(130)에서, 영상 처리 장치는 변환된 신호의 계수들 중 일부를 복원한다. 일실시예에 따른 영상 처리 장치는 변환된 신호들의 계수들 중 미리 결정된 주파수대역 신호의 계수를 제외한 나머지 계수들을 식별하고, 미리 학습된 뉴럴 네트워크를 이용하여 나머지 계수들을 복원한다. 여기서, 미리 결정된 주파수대역 신호는 변환된 신호들 중에서 일부 주파수대역 신호 또는 전체 주파수대역 신호에 해당할 수 있다. 예를 들어, 일부 주파수대역 신호는 저주파수 신호(low frequency signal), 저해상도 신호(Low-resolution signal), 또는 손실된 일부 영역에 대한 신호일 수 있다.
일실시예에 따른 영상 처리 장치는 미리 학습된 뉴럴 네트워크를 이용하여 국지적 변환신호의 계수를 복원할 수 있다. 여기서, 국지적 변환신호(local transform signal)의 계수(coefficient)는 변환된 신호의 일부 영역에 대한 계수를 의미할 수 있다.
뉴럴 네트워크의 복수의 레이어들에는 입력 레이어, 히든 레이어 및 출력 레이어가 포함될 수 있다. 예를 들어, 입력 레이어는 트레이닝 또는 인식을 수행하기 위한 입력을 수신하여 히든 레이어로 전달할 수 있고, 출력 레이어는 히든 레이어의 뉴런들로부터 수신한 신호에 기초하여 뉴럴 네트워크의 출력을 생성할 수 있다. 히든 레이어는 입력 레이어와 출력 레이어 사이에 위치한 중간 레이어로서, 입력 레이어를 통해 전달된 학습 데이터 또는 인식의 대상이 되는 데이터를 예측하기 쉬운 값으로 변화시킬 수 있다.
일실시예에 따른 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(CNN; convolutional neural network)를 포함할 수 있다. 뉴럴 네트워크는 ReLU(rectified linear unit), 시그모이드(Sigmoid), Tanh 연산 중 어느 하나를 수행하는 비선형 레이어를 포함할 수 있다. 또한, 뉴럴 네트워크는 배치 정규화(batch normalization) 연산을 평준화 연산으로 사용하는 배치 정규화 레이어를 포함할 수 있다. 또한, 뉴럴 네트워크는 뉴럴 네트워크 내의 복수의 레이어들의 출력을 더하는 채널 연결 레이어(channel concatenation layer)를 포함할 수 있다. 또한, 뉴럴 네트워크는 동일한 연산구조(예컨대, 모듈)을 하나 이상 포함할 수 있다. 여기서, 정규화(normalization)은 평준화와 혼용되어 기재될 수 있다.
단계(140)에서, 영상 처리 장치는 복원된 계수들 및 미리 결정된 주파수대역 신호의 계수에 기초하여 결정된 전체 계수를 출력 영상으로 역변환한다. 일실시예에 따른 영상 처리 장치는 복원된 계수들 및 미리 결정된 주파수대역 신호의 계수를 덧셈하거나 또는 접합(concatenation)함으로써, 전체 계수를 결정할 수 있다. 여기서, 미리 결정된 주파수대역 신호의 계수는 뉴럴 네트워크에 입력되지 않고 바이패스(bypass)될 수 있다. 역변환은 단계(120)에서 수행된 변환의 역일 수 있다.
단계(150)에서, 영상 처리 장치는 출력 영상을 후처리할 수 있다. 일실시예에 따른 영상 처리 장치는 역변환된 출력 영상에 노이즈 제거 필터, 보간 필터, 회기 분석, 부분주파수대역 필터 등을 적용함으로써 출력 영상을 후처리할 수 있다.
앞서 설명한 단계(110, 150)는 선택적인 단계로서, 경우에 따라서 수행될 수도 있고 또는 생략될 수도 있다.
도 2 및 도 3은 일실시예에 따라 입력 영상을 변환하는 예시를 나타낸 도면이다.
도 2를 참조하면, 일실시예에 따라 영상 처리 장치가 입력 영상(210)을 복수의 레벨들(220, 230)에 대응하는 신호들로 변환하는 예시가 도시된다. 여기서, 복수의 레벨들(220, 230)은 서로 다른 주파수에 대응하는 레벨을 나타낼 수 있다.
일실시예에 따른 영성 처리 장치는 입력 영상을 복수의 레벨들(220, 230)에 대응하는 신호들로 변환한다. 여기서, 영상 처리 장치는 입력 영상에 포함된 노이즈의 특성을 부각시키면서 역변환이 가능한 변환 기법을 이용하여 입력 영상을 신호들로 변환할 수 있다.
영상 처리 장치는 멀티스케일 분해(multiscale decomposition)와 방향성 분해(directional decomposition)를 이용하여 입력 영상을 복수의 레벨들(220, 230)에 대응하는 신호들로 변환할 수 있다. 예를 들어, 영상 처리 장치는 입력 영상에 포함된 노이즈의 방향성 성분이 분해(decomposition)되도록 입력 영상을 신호들로 변환할 수 있다.
일실시예에 따른 변환 기법으로 웨이블릿 변환, 코사인 변환, 사인 변환, 푸리에 변환, 이산 변환 중 어느 하나가 적용될 수 있다. 이하에서는, 설명의 편의를 위해 웨이블릿 변환의 일종인 컨투어렛 변환(contourlet transform)을 기준으로 본 발명을 설명하나, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 설명을 기초로 코사인 변환, 사인 변환, 푸리에 변환, 이산 변환 중 어느 하나를 변환 기법으로 적용할 수 있다.
컨투어렛 변환은 방향성 필터를 이용하는 임의 차수의 웨이블릿 변환을 의미할 수 있다. 컨투어렛 변환은 웨이블릿 변환의 특징인 멀티스케일과 시간-주파수의 지역적 특성뿐만 아니라 방향성 성분에 대해서도 풍부한 정보를 얻을 수 있는 장점을 가지고 있다.
컨투어렛 변환은 멀티스케일 분해와 방향성 분해를 포함할 수 있다. 비-서브 샘플링된 컨투어렛 변환(Non-subsampled contourlet transform)은 컨투어렛 변환의 시프트-불변 버전(shift-invariant version)이며, 도 2에 도시된 바와 같이 비-서브 샘플링된 피라미드(non-subsampled pyramids) 및 비-서브 샘플링된 방향성 필터 뱅크(non-subsampled directional filter banks)를 포함할 수 있다. 필터 뱅크에는 다운 샘플링(down-sampling) 또는 업 샘플링(up-sampling)이 없고, 따라서 시프트 불변(shift invariant)일 수 있다. 특히, 주어진 고역 통과 필터(highpass filter) H1(z) 및 저역 통과 필터(lowpass filter) H0(z)에 대해, 비-서브 샘플링된 피라미드는 필터 뱅크를 반복함으로써 구성될 수 있다. 특히, k번째 레벨 캐스케이드 비-서브 샘플링된 피라미드는 하기와 같이 나타낼 수 있다.
Figure pat00001
여기서,
Figure pat00002
이다. 그 후, 비-서브 샘플링된 방향성 필터 뱅크는 여러 방향성으로 분해되기 위해 고역통과 서브밴드에 적용될 수 있다.
도 2에 도시된 컨투얼렛 변환에서 우선 서브 샘플링되지 않은 피라미드는 고역 통과 및 저역 통과 서브 밴드로 분리할 수 있다. 그리고, 비-서브 샘플링된 방향성 필터 뱅크는 고역 통과 서브 밴드를 방향성 서브 밴드로 분해할 수 있다. 이러한 과정은 저역 통과 서브밴드까지 반복될 수 있다.
도 3을 참조하면, 일실시예에 따라 입력 영상으로부터 변환된 신호의 예시가 도시된다.
일실시예에 따른 변환된 신호는 서로 다른 주파수에 대응하는 복수의 레벨들로 구분될 수 있다. 복수의 레벨들 중 높은 주파수에 대응하는 레벨일수록 서로 다른 방향성 성분에 해당하는 서브 밴드의 개수가 많을 수 있다. 예를 들어, 복수의 레벨들 중 가장 높은 주파수에 대응하는 레벨에 서브 밴드의 개수가 가장 많고, 가장 낮은 주파수에 대응하는 레벨에 서브 밴드의 개수가 가장 적을 수 있다.
일실시예에 따라 도시된 도 3은 변환된 신호가 4개의 레벨로 구분된 실시예를 나타낼 수 있다. 레벨 1(310)은 가장 높은 고주파 신호에 대응되고, 서로 다른 방향성 성분을 가지는 총 8개의 서브밴드들을 포함할 수 있다. 그리고, 레벨 2(320)은 두 번째로 높은 고주파 신호에 대응되고, 서로 다른 방향성 성분을 가지는 총 4개의 서브밴드들을 포함할 수 있다. 그리고, 레벨 3(330)은 세 번째로 높은 고주파 신호에 대응되고, 서로 다른 방향성 성분을 가지는 총 2개의 서브밴드들을 포함할 수 있다. 그리고, 레벨 4(340)는 가장 낮은 저주파 신호에 대응되고, 총 1개의 서브밴드를 포함할 수 있다.
비-서브 샘플링된 컨투어렛 변환의 기법 및 그 실시예들이 도 2 및 도 3에 도시되어 있다. 각 레벨들은 동일한 세기 범위(intensity range)를 가지며, 각각의 서브 밴드는 상이한 방향성 성분을 가질 수 있다. 레벨 1, 2, 3(310, 320, 330)은 에지 정보 및 노이즈와 같은 저선량 CT 이미지의 고주파 성분을 포함할 수 있다. 저선량 CT 영상에서, 뼈 사이에 나타나는 streaking noises도 고주파 성분으로 나타날 수 있다.
도 4는 일실시예에 따라 뉴럴 네트워크를 이용하여 영상을 처리하는 예시를 나타낸 도면이다.
도 4를 참조하면, 일실시예에 따른 영상 처리 장치가 뉴럴 네트워크를 이용하여 영상을 처리하는 예시가 도시된다.
도 4에서는 영상 처리 장치가 신호변환 영역에서 뉴럴 네트워크(460)를 이용하여 입력 영상(410)에 포함된 노이즈를 제거하거나, 입력 영상(410)의 해상도를 증대시키거나, 또는 입력 영상(410)에서 손실된 일부 부분을 복원함으로써, 출력 영상(490)을 출력하는 과정이 도시된다. 예를 들어, 영상 처리 장치는 멀티스케일 정상 웨이블릿 변환의 일종인 방향성 필터 뱅크를 이용하는 웨이블릿 변환(예를 들어, 컨투어렛 변환)을 이용하여 저선량(low dose) X-ray CT영상의 노이즈를 제거할 수 있다.
입력 영상(410)은 노이즈가 포함되거나 저해상도이거나 영상의 일부가 손실된 영상일 수 있다. 예를 들어, 입력 영상(410)은 저선량 영상으로서, 도 1의 단계(110)에서 출력되는 영상에 해당되고, 출력 영상(490)은 노이즈가 제거되거나 해상도가 향상되거나 또는 손실된 일부 영상이 복원된 영상으로서, 도 1의 단계(140)에서 출력되는 영상에 해당될 수 있다.
변환(420)은 입력 영상에 포함된 결함(defect)(예컨대, 노이즈, 저해상도, 손실)의 특성을 부각시키면서 역변환이 가능한 변환 기법으로, 예를 들어, 웨이블릿 변환, 코사인 변환, 사인 변환, 푸리에 변환, 이산 변환 중 어느 하나가 적용될 수 있다. 웨이블릿 변환의 일실시예에 해당하는 컨투어렛 분해(contourlet decomposition)이 적용될 수도 있다.
변환된 신호(430)는 서로 다른 주파수에 해당하는 복수의 레벨들로 구분될 수 있다. 변환된 신호(430)는 각각의 레벨(level)에 따른 입력 영상(410)의 계수(예컨대, 웨이블릿 계수)를 포함할 수 있다. 여기서, 계수는 패치(patch)를 통해 변환된 신호(430)로부터 추출된 국지적인 계수로서, 미리 학습된 뉴럴 네트워크(460)로 입력될 수 있다.
이 때, 계수들 중 미리 결정된 주파수대역 신호(440)에 대응하는 계수는 뉴럴 네트워크(460)로 입력되지 않고 바이패스되며, 미리 결정된 주파수대역 신호(440)의 계수를 제외한 나머지 계수들(450)이 뉴럴 네트워크(460)에 입력될 수 있다.
뉴럴 네트워크(460)는 미리 학습된 뉴럴 네트워크로서, 컨볼류션 뉴럴 네트워크를 포함할 수 있다. 뉴럴 네트워크(460)는 입력된 나머지 계수들(450)을 복원할 수 있으며, 복원된 계수들은 바이패스된 미리 결정된 주파수대역 신호(440)의 계수와 더해질 수 있다. 국지적인 계수에 해당하는 덧셈 또는 접합의 결과에 기초하여 전체 계수(470)가 결정될 수 있다.
전체 계수(470)는 역변환(480)을 통해서 잡음이 제거된 출력 영상(490)으로 변환될 수 있다. 역변환(480)은 변환(420)의 역과정으로 신호변환 영역의 전체 계수(470)를 출력 영상(490)으로 역변환할 수 있다. 예를 들어, 역변환(480)으로 컨투어렛 합성(contourlet reconstruction)이 적용될 수 있다.
여기서, 미리 결정된 주파수대역 신호는 변환된 신호(430) 중에서 일부 주파수대역 신호 또는 전체 주파수대역 신호에 해당할 수 있다. 예를 들어, 일부 주파수대역 신호는 변환된 신호(430) 중 저주파수 신호, 저해상도 신호, 또는 일부 영역이 손실된 신호일 수 있다.
앞서 설명한 동작들은 입력 영상(410)에 포함된 노이즈를 제거하여 출력 영상(490)을 출력하는 실시예뿐만 아니라 다양한 영상 복원에 적용될 수 있다. 영상 해상도의 복원에 적용되는 경우, 입력 영상(410)은 저해상도 영상에 해당되고, 출력 영상(490)은 고해상도 영상에 해당되며, 뉴럴 네트워크(460)는 저해상도 영상과 고해상도 영상으로 지도학습된 인공신경망일 수 있다. 또한, 일부 영역이 손실된 영상에 적용되는 경우, 입력 영상(410)은 일부 영역이 손실된 영상에 해당되고, 출력 영상(490)은 손실된 일부 영역이 복원된 영상에 해당되며, 뉴럴 네트워크(460)는 일부 영역이 손실된 영상과 손실된 일부 영역이 복원된 영상으로 지도학습된 인공신경망일 수 있다.
또한, 미리 결정된 주파수대역 신호(440)를 통과시켜 뉴럴 네트워크(460)의 출력에 더해주는 부분은 저주파 신호(440)의 계수에 국한되지 않고 실시예에 따라 적절하게 변경 가능하다. 변환(420)과 역변환(480)은 정상 컨투어렛(stationary contourlet)이나 웨이블릿에 국한되지 않고 역변환이 존재하는 통상적인 신호 변환도 적용될 수 있다.
이하에서는 본 발명에 적용될 수 있는 구체적인 실시예들을 설명하였으나, 이는 설명의 편의를 위한 것으로 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 설명을 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.
기존의 CNN 기반 노이즈 제거기와 같이, 이미지 도메인에서 노이즈 제거 접근 방식을 사용하는 대신, 일실시예에 따른 영상 처리 장치는 웨이블릿 계수에 대한 노이즈 제거 기법을 이용할 수 있다. 이러한 기법은 웨이블릿 수축(wavelet shrinkage)을 사용하는 종래의 노이즈 제거 기법과 관련이 있는 것으로 보일 수 있지만, 일실시예에 따른 영상 처리 장치는 닫힌 형태의 수축 연산자(closed form (analytic) shrinkage operator)를 직접적으로 적용하기 것보다는 노이즈가 존재하는 웨이블릿 계수를 노이즈가 제거된 깨끗한 웨이블릿 계수로 매핑하는 학습 가능한 수축 연산자(trainable shrinkage operator)를 이용하여 인터- 및 인트라-스케일 상관 관계(inter- and intra-scale correlations)를 이용할 수 있다.
구체적으로, 도 4에 도시된 바와 같이, 노이즈가 포함된 입력 영상(410)은 처음에 언데시메이티드 컨투어렛 변환(undecimated contourlet transform)을 사용하여 복수의 채널들(예컨대, 총 15개의 채널들)로 분해되며, 분해된 채널은 복수의 레벨들(예컨대, 총 4개의 레벨들)에 속할 수 있다. 훼손되지 않은 언데시메이티드 다중레벨 컨투어렛 변환(undecimated multi-level contourlet transform)이 공간적으로 불변(spatially invariant)하므로, 노이즈가 포함된 웨이블릿 계수(noisy wavelet coefficients)는 컨볼루션 연산자를 사용하여 패치 별로(patch-by-patch)로 디노이즈(denoise)될 수 있다.
여기서, 패치는 입력 영상보다 작은 사이즈를 가지고 미리 결정된 형태의 영역(예컨대, 55 x 55 정사각형 영역)을 포함할 수 있다. 패치는 복수의 채널들(예컨대, 총 15개의 채널들)에 대해 형성될 수 있다. 따라서, 패치의 전체 사이즈는 패치 개별 사이즈 및 채널 개수의 곱(예컨대, 55 x 55 x 15)으로 결정될 수 있다.
학습 효과를 높이기 위해 뉴럴 네트워크(460)는 잔여 학습(residual learning)을 이용할 수 있다. 미리 결정된 주파수대역 신호의 웨이블릿 계수는 바이패스되어 디노이즈된 나머지 웨이블릿 계수에 덧셈되거나 접합됨으로써, 뉴럴 네트워크(460)의 불필요한 부담이 크게 감소될 수 있다. 즉, 미리 결정된 주파수대역 신호의 웨이블릿 계수는 뉴럴 네트워크(460)의 외부 바이패스 연결로 전달될 수 있다. 또한, 뉴럴 네트워크(460)의 내부 바이패스 연결(internal bypass connection)의 다른 유형이 존재하며, 이에 대해서는 도 5를 참조하여 설명한다. 이와 같은 내부 또는 외부 바이패스 연결은 깊은 네트워크 학습(deep network training)의 어려움을 극복함으로써, 노이즈 제거 성능을 향상시킬 수 있다.
도 5 및 도 6은 일실시예에 따른 뉴럴 네트워크를 나타낸 도면이다.
도 5를 참조하면, 일실시예에 따른 도 4의 뉴럴 네트워크(460)의 연산구조가 도시된다.
뉴럴 네트워크는 인간의 생물학적 신경 세포를 모델링한 네트워크로서, 인간이 가지고 있는 학습 능력을 모방한 알고리즘을 이용할 수 있다. 뉴럴 네트워크는 학습을 통해 입력 패턴과 출력 패턴들 사이의 사상(mapping)을 수행할 수 있다. 또한, 뉴럴 네트워크는 학습된 결과에 기초하여 학습에 이용되지 않았던 입력 패턴에 대하여 비교적 올바른 출력을 생성할 수 있는 일반화 능력을 가질 수 있다.
뉴럴 네트워크는 복수의 레이어들을 포함할 수 있고, 레이어들 각각은 복수의 뉴런들을 포함할 수 있다. 이웃한 레이어들의 뉴런들은 시냅스들로 연결될 수 있다. 학습에 따라 시냅스들에는 가중치들이 부여될 수 있고, 파라미터들은 이러한 가중치들을 포함할 수 있다.
뉴럴 네트워크는 멀티 레이어(multi-layer)를 포함할 수 있으며, 각 레이어의 사이에는 선형 변환(linear transform) 연산을 수행하는 컨볼류션 레이어, 정규화(normalization) 연산을 수행하는 배치 정규화 레이어, 비선형 함수(nonlinear function) 연산을 수행하는 ReLU 레이어가 배치될 수 있다(도 6 참조). 앞서 설명한 연산들은 파라미터들을 포함할 수 있으며, 이는 지도 학습을 통해 학습될 수 있다. 지도 학습은 일반적으로 손실 함수(loss function)을 설정하고, 손실 함수의 값이 최소화 되도록 인공신경망의 파라미터들이 조정될 수 있다. 손실 함수
Figure pat00003
의 최소화 문제는 아래와 같이 정의될 수 있다.
Figure pat00004
위의 수학식 2에서, y는 입력 신호(510)을 나타내고, 뉴럴 네트워크
Figure pat00005
는 뉴럴 네트워크 f의 파라미터의 집합을 나타내고, x는 참조 신호를 나타내며,
Figure pat00006
는 뉴럴 네트워크의 출력 신호(540)를 나타낼 수 있다.
손실 함수
Figure pat00007
는
Figure pat00008
놈(norm)을 이용할 수 있으며, 구체적으로 하기와 같이 표현될 수 있다.
Figure pat00009
크기가 n인 벡터 x는
Figure pat00010
인 경우에 하기와 같이 정의될 수 있다.
Figure pat00011
지도 학습은 참조 신호 x의 과적응(overfitting)을 막기 위해서 아래와 같이 뉴럴 네트워크의 파라미터
Figure pat00012
에 대한 정형화(regularization) 항을 추가하여 최소화 문제를 수행 할 수 있다.
Figure pat00013
여기서 함수
Figure pat00014
는
Figure pat00015
을 사용할 수 있다. 예를 들어,
Figure pat00016
놈을 사용하는 손실 함수와 정형화 항을 최소화 시키는 문제는 하기와 같이 표현할 수 있다.
Figure pat00017
뉴럴 네트워크의 파라미터
Figure pat00018
를 지도 학습시키기 위한 최소화 문제는 일반적으로 역전파(back propagation)을 통해 수행될 수 있다. 이러한 방식에서, 각 파라미터는 1차 미분에 기반한 경사 하강법(gradient descent)을 통해서 반복적으로 수정될 수 있으며, 아래와 같이 표현할 수 있다.
Figure pat00019
Figure pat00020
은 l번째 레이어 fl에서 수행되는 연산의 임의의 변수를 나타내고, t는 변수가 수정된 횟수를 나타낸다. 여기서 경사
Figure pat00021
는 통상적으로 미분의 연쇄법칙(chain rule)에 기초하여 계산되며 아래와 같이 정의될 수 있다.
Figure pat00022
뉴럴 네트워크(130)에서 선형변환(linear transform) 연산은 임의 차수의 콘볼루션(convolution) 연산을 포함할 수 있으며, 선형 변환이 콘볼루션으로 표현되는 뉴럴 네트워크는 CNN (convolutional neural network)으로 지칭될 수 있다.
비선형 함수(nonlinear function) 연산은 ReLU(아래 수학식 9 참조), 시그모이드(sigmoid)(아래 수학식 10 참조), tanh(아래 수학식 11 참조)을 포함할 수 있다.
Figure pat00023
Figure pat00024
Figure pat00025
위의 수학식 9 내지 11에서, f는 입력되는 신호의 개별 값에 대해 동일하게 적용될 수 있다.
정규화(normalization) 연산은 배치(batch) 정규화 방식 포함하며, 배치 정규화는 하기와 같이 표현될 수 있다.
Figure pat00026
위의 수학식 12에서,
Figure pat00027
및
Figure pat00028
은 지도 학습 통해서 학습된 파라미터 값이고,
Figure pat00029
는 임의의 상수 값이다.
도 5에 도시된 뉴럴 네트워크는 동일한 연산구조를 가지는 모듈(520)을 포함할 수 있다. 이러한 모듈(520)에는 서로 다른 레이어들의 출력을 더하는 부분을 포함할 수 있다. 이러한 모듈(520)은 뉴럴 네트워크에 복수개 포함될 수 있으며, 도 5에 도시된 6개의 모듈들은 일실시예에 해당될 뿐 이에 한정되지 않는다. 또한, 뉴럴 네트워크에는 서로 다른 층들의 여러 출력 값들을 이어서 덧붙여주는(concatenation) 부분(530)이 포함될 수 있다.
일실시예에 따른 뉴럴 네트워크는 복수의 컨볼류션 레이어들(예컨대, 24개의 컨볼루션 레이어들)을 포함할 수 있으며, 배치 정규화 레이어와 ReLU 레이어는 마지막 컨볼루션 레이어를 제외한 나머지 컨볼루션 레이어 뒤에 배치될 수 있다. 그리고, 제1 레이어에서 미리 결정된 제1 사이즈(예컨대, 3 x 3 x 15)를 가지는 컨볼루션 필터의 복수의 세트들(예컨대, 128개 세트들)이 미리 결정된 제2 사이즈의 채널(예컨대, 55 x 55 x 128 채널)을 생성하기 위해 사용되며, 그 다음 레이어에서 미리 결정된 제3 사이즈(예컨대, 3 x 3 x 128)를 가지는 컨볼루션 필터의 복수의 세트들(예컨대, 128개 세트들)이 사용될 수 있다.
뉴럴 네트워크는 복수의 모듈들(예컨대, 6개의 모듈들)로 구성되고, 각 모듈은 바이패스 연결과 복수의 컨볼류션 레이어들(예컨대, 3개의 컨볼루션 레이어들)로 구성될 수 있다. 또한, 뉴럴 네트워크는 채널 차원에서 이전 레이어의 여러 출력을 스택(stack)하는 채널 연결 레이어(channel concatenation layer)(530)를 포함할 수 있다. 이는 그라디언트(gradient)가 다른 경로를 통해 역전파될 수 있도록 함으로써, 더욱 신속한 엔드 투 엔드(end-to-end) 학습을 가능하게 할 수 있다.
일실시예에 따른 뉴럴 네트워크는 하기의 손실 함수를 최소화함으로써 학습될 수 있다.
Figure pat00030
여기서, w는 컨볼류션 필터들의 계수들 및 배치 정규화 레이어들 내의 파라미터들을 포함하는 모든 네트워크 파라미터들의 집합이고, x, y는 각각 저선량(예컨대, 1/4 선량) 및 일반 선량 CT 이미지의 컨투어렛 계수(contourlet coefficients)이다. F(w, x)는 노이즈가 제거된 컨투어렛 계수(denoised contourlet coefficient)인 뉴럴 네트워크의 출력을 나타내며, y는 주어진 실제 계수 벡터(given true coefficient vector)이다. 정규화 파라미터(또는, 감쇠율(decay rate))로
Figure pat00031
가 적용될 수 있다.
손실 함수의 최소화는 오류 역 전파 기법(예컨대, SGD(stochastic gradient descent) 기법)를 통해 수행될 수 있다. 일실시예에 따른 SGD에서는 초기 학습률(initial learning rate)을 0.01로 설정하고 학습률(learning rate)은 10-5까지 지속적으로 낮춰질 수 있다. 초기 학습 단계에서 높은 학습율을 사용하기 위해 [-10-3, 10-3] 범위에서 그라데이션 클리핑 방법(gradient clipping method)이 사용될 수 있다. 뉴럴 네트워크의 컨볼루션 커널 가중치(convolution kernel weights)는 임의의 가우스 분포를 사용하여 초기화될 수 있다.
일실시예에 따른 손실 함수는 미니 배치 그라디언트 디센트 알고리즘(mini-batch gradient descent algorithm)을 이용하여 최소화될 수 있다. 예를 들어, 미니 배치의 사이즈는 10이며, 이는 55 x 55 x 15 웨이블릿 계수들에 대응하는 무작위로 선택된 10개의 로컬 웨이블릿 계수의 집합이 학습을 위한 배치로 사용되었음을 나타낼 수 있다. 또한, 데이터 증가를 위해 학습된 의료 영상(예컨대, CT 영상)은 랜덤하게 플립(flip)되거나 회전(rotate)될 수 있다.
예를 들어, 뉴럴 네트워크의 학습 환경은 하기의 표 1와 같을 수 있다.
Figure pat00032
도 7은 일실시예에 따른 뉴럴 네트워크에 대한 지도학습의 효율성을 나타낸 도면이다.
도 7를 참조하면, 일실시예에 따른 신호변환 영역(즉, 변환 도메인)에서 적용된 인공신경망의 지도학습 효율성을 나타낸 그래프가 도시된다. 그래프는 저선량 X선 CT영상의 노이즈 제거에 사용된 인공신경망의 학습 결과를 나타낼 수 있다. 변환 도메인에서 인공신경망을 이용해 노이즈 제거를 수행한 기법(예컨대, 웨이블릿 변환)이 신호 변환을 이용하지 않은 기법(예컨대, 이미지 CNN)에 비해 PSNR (peak signal to noise ratio), NRMSE(normalized root mean squared errors)에서 모두 우수한 결과를 보인다.
도 8은 일실시예에 따른 정상 영상, 결함이 포함된 입력 영상 및 결함이 제거된 출력 영상의 예시를 나타낸 도면이다.
도 8을 참조하면, 일실시예에 따라 영상 처리 방법이 결함이 포함된 입력 영상(예컨대, 노이즈가 포함된 저선량 CT 영상)에 적용된 결과가 도시된다.
도 8에서는 일실시예에 따른 영상 처리 방법의 실질적인 효과를 나타내기 위한, 정상 선량 X선 CT 영상(810), 저선량 X선 CT 영상(820), 회기분석에 기반한 노이즈 제거 방식을 통해 저선량 영상을 처리한 결과 영상(830, 840, 850), 신호변환 영역에서 뉴럴 네트워크를 이용한 방식으로 저선량 영상을 복원한 결과 영상(860)이 도시된다. 일실시예에 따른 영상 처리 방법을 통해 노이즈가 제거된 결과 영상(860)이 기존 노이즈 제거 방식의 결과 영상(830, 840, 850)보다 우수한 것을 확인할 수 있다.
도 9는 일실시예에 따른 영상 처리 방법을 나타낸 도면이다.
도 9를 참조하면, 일실시예에 따른 영상 처리 장치의 프로세서에 의해 수행되는 영상 처리 방법이 도시된다.
단계(910)에서, 영상 처리 장치는 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환한다. 일실시예에 따른 영상 처리 장치는 상기 입력 영상에 포함된 결함(defect)의 특성을 부각시키면서 역변환이 가능한 변환 기법을 이용하여 상기 입력 영상을 상기 신호들로 변환할 수 있다. 여기서, 변환 기법은 웨이블릿 변환, 코사인 변환, 사인 변환, 푸리에 변환, 이산 변환 중 어느 하나를 포함할 수 있다. 여기서, 결함은 입력 영상에 포함된 노이즈, 입력 영상의 저해상도, 입력 영상에서 손실된 일부 영역 중 적어도 하나를 나타낼 수 있다.
영상 처리 장치는 입력 영상에 포함된 결함의 방향성 성분이 분해(decompose)되도록 입력 영상을 신호들로 변환할 수 있다. 여기서, 변환된 신호들의 계수들은, 변환된 신호들의 일부 영역에 대한 계수일 수 있다.
일실시예에 따른 영상 처리 장치는 코사인 변환(cosine transform)(아래 수학식 14 참조), 사인 변환(sine transform), 푸리에 변환(Fourier transform)(아래 수학식 15 참조) 등의 변환 기법을 이용하여 입력 영상을 복수의 신호들로 변환할 수 있다. 또한, 앞서 설명한 1차원 연속 신호에 대한 변환 외에도 2차원 이상의 신호 변환도 적용 가능하고, 이산 신호가 주어진 경우 이산 변환도 적용될 수 있다.
Figure pat00033
Figure pat00034
위의 수학식 14, 15에서,
Figure pat00035
는 주어진 입력 영상을 의미하고,
Figure pat00036
는 변환된 신호의 계수를 의미할 수 있다.
또한, 웨이블릿 변환은 아래의 수학식 16으로 표현할 수 있다.
Figure pat00037
위의 수학식 16에서,
Figure pat00038
는 주어진 입력 영상을 의미하고,
Figure pat00039
은 웨이블릿을 의미하며,
Figure pat00040
은 신호의 웨이블릿 계수를 의미할 수 있다.
일실시예에 따른 웨이블릿 변환은 정상(stationary) 웨이블릿 변환 및 방향성 필터 뱅크(directional filter bank)를 이용하는 웨이블릿 변환을 포함할 수 있다.
일실시예에 따른 영상 처리 장치는 고주파 신호일수록 서로 다른 방향성 성분에 해당하는 서브 밴드를 많이 포함할 수 있다. 영상 처리 장치는 입력 영상을 동일한 세기 범위(intensity range)를 가지는 복수의 레벨의 신호들로 변환할 수 있다.
단계(920)에서, 영상 처리 장치는 변환된 신호들의 계수들 중 미리 결정된 주파수대역 신호의 계수를 제외한 나머지 계수들을 식별한다. 예를 들어, 미리 결정된 주파수대역 신호는 입력 영상으로부터 변환된 신호들 중 가장 낮은 주파수에 해당하는 신호를 나타낼 수 있다. 예를 들어, 미리 결정된 주파수대역 신호는 저주파수 신호 또는 저해상도 신호일 수 있다. 나머지 계수들에 대응하는 신호는, 서로 다른 방향성 성분을 가지는 복수의 서브밴드들을 포함할 수 있다.
단계(930)에서, 영상 처리 장치는 미리 학습된 뉴럴 네트워크를 이용하여, 나머지 계수들을 복원한다. 영상 처리 장치는 컨볼류션 뉴럴 네트워크를 이용하여, 나머지 계수들에 포함된 노이즈를 제거할 수 있다. 영상 처리 장치는 뉴럴 네트워크를 이용하여, 나머지 계수들의 손실 주파수 성분을 복원할 수 있다. 뉴럴 네트워크는 뉴럴 네트워크에 포함된 복수의 레이어들의 출력을 스택(stack)하는 채널 연결 레이어(channel concatenation layer)를 포함할 수 있다.
단계(940)에서, 영상 처리 장치는 복원된 계수들 및 미리 결정된 주파수대역 신호의 계수에 기초하여 결정된 전체 계수를 출력 영상으로 역변환한다. 일실시예에 따른 역변환은 단계(910)에서 수행된 변환의 역일 수 있다. 전체 계수는 변환된 신호들의 전체 영역에 대한 계수일 수 있다.
입력 영상은 노이즈가 포함된 영상이고, 출력 영상은 노이즈가 제거된 영상일 수 있다. 또는, 입력 영상은 저해상도의 영상이고, 출력 영상은 고해상도의 영상일 수 있다. 또는, 입력 영상은 입력 영상의 일부 영역이 손실된 영상이고, 출력 영상은 손실된 일부 영역이 복원된 영상일 수 있다.
도 9에 도시된 각 단계들에는 도 1 내지 도 8을 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.
도 10은 일실시예에 따른 영상 처리 장치를 나타낸 도면이다.
도 10을 참조하면, 일실시예에 따른 영상 처리 장치(1000)는 메모리(1010) 및 프로세서(1020)를 포함한다. 메모리(1010) 및 프로세서(1020)는 버스(bus)(1030)를 통하여 서로 통신할 수 있다.
메모리(1010)는 컴퓨터에서 읽을 수 있는 명령어를 포함할 수 있다. 프로세서(1020)는 메모리(1010)에 저장된 명령어가 프로세서(1020)에서 실행됨에 따라 앞서 언급된 동작들을 수행할 수 있다. 메모리(1010)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(1020)는 명령어들, 혹은 프로그램들을 실행하거나, 영상 처리 장치(1000)를 제어하는 장치로서, 예를 들어, CPU(Central Processing Unit) 및 GPU(Graphic Processing Unit)을 포함할 수 있다. 영상 처리 장치(1000)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 예를 들어, 영상 처리 장치(1000)는 이미지 센서를 통해 입력 영상을 수신할 수 있다. 영상 처리 장치(1000)는 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치, 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치, 또는 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등의 적어도 일부로 구현될 수 있다. 그 밖에, 영상 처리 장치(1000)에 관해서는 상술된 동작을 처리할 수 있다.
프로세서(1020)는 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하고, 변환된 신호들의 계수들 중 미리 결정된 주파수대역 신호의 계수를 제외한 나머지 계수들을 식별하고, 미리 학습된 뉴럴 네트워크를 이용하여, 나머지 계수들을 복원하며, 복원된 계수들 및 미리 결정된 주파수대역 신호의 계수에 기초하여 결정된 전체 계수를 출력 영상으로 역변환한다.
도 10에 도시된 각 구성요소들에는 도 1 내지 도 9를 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
실시예들에서 설명된 구성요소들은 하나 이상의 DSP (Digital Signal Processor), 프로세서 (Processor), 컨트롤러 (Controller), ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array)와 같은 프로그래머블 논리 소자 (Programmable Logic Element), 다른 전자 기기들 및 이것들의 조합 중 하나 이상을 포함하는 하드웨어 구성 요소들(hardware components)에 의해 구현될 수 있다. 실시예들에서 설명된 기능들(functions) 또는 프로세스들(processes) 중 적어도 일부는 소프트웨어(software)에 의해 구현될 수 있고, 해당 소프트웨어는 기록 매체(recording medium)에 기록될 수 있다. 실시예들에서 설명된 구성요소들, 기능들 및 프로세스들은 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (19)

  1. 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하는 단계;
    상기 변환된 신호들의 계수들 중 미리 결정된 주파수대역 신호의 계수를 제외한 나머지 계수들을 식별하는 단계;
    미리 학습된 뉴럴 네트워크를 이용하여, 상기 나머지 계수들을 복원하는 단계; 및
    상기 복원된 계수들 및 상기 미리 결정된 주파수대역 신호의 계수에 기초하여 결정된 전체 계수를 출력 영상으로 역변환하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 변환하는 단계는,
    상기 입력 영상에 포함된 결함(defect)의 특성을 부각시키면서 역변환이 가능한 변환 기법을 이용하여 상기 입력 영상을 상기 신호들로 변환하는, 영상 처리 방법.
  3. 제2항에 있어서,
    상기 변환 기법은,
    웨이블릿 변환(wavelet transform), 코사인 변환(cosine transform), 사인 변환(sine transform), 푸리에 변환(Fourier transform), 이산 변환(discrete transform) 중 어느 하나를 포함하는, 영상 처리 방법.
  4. 제2항에 있어서,
    상기 변환하는 단계는,
    상기 입력 영상에 포함된 결함의 방향성 성분이 분해(decompose)되도록 상기 입력 영상을 상기 신호들로 변환하는, 영상 처리 방법.
  5. 제1항에 있어서,
    상기 변환된 신호들의 계수들은, 상기 변환된 신호들의 일부 영역에 대한 계수이고,
    상기 전체 계수는 상기 변환된 신호들의 전체 영역에 대한 계수인, 영상 처리 방법.
  6. 제1항에 있어서,
    상기 변환된 신호들은,
    고주파 신호일수록 서로 다른 방향성 성분에 해당하는 서브 밴드를 많이 포함하는, 영상 처리 방법.
  7. 제1항에 있어서,
    상기 변환하는 단계는,
    상기 입력 영상을 동일한 세기 범위(intensity range)를 가지는 복수의 레벨의 상기 신호들로 변환하는, 영상 처리 방법.
  8. 제1항에 있어서,
    상기 복원하는 단계는,
    상기 뉴럴 네트워크를 이용하여, 상기 나머지 계수들에 포함된 결함을 제거하고,
    상기 뉴럴 네트워크는, 컨볼류션 뉴럴 네트워크인, 영상 처리 방법.
  9. 제1항에 있어서,
    상기 복원하는 단계는,
    상기 뉴럴 네트워크를 이용하여, 상기 나머지 계수들의 손실 주파수 성분을 복원하는, 영상 처리 방법.
  10. 제1항에 있어서,
    상기 뉴럴 네트워크는,
    상기 뉴럴 네트워크에 포함된 복수의 레이어들의 출력을 스택(stack)하는 채널 연결 레이어(channel concatenation layer)를 포함하는, 영상 처리 방법.
  11. 제1항에 있어서,
    상기 입력 영상은, 노이즈가 포함된 영상이고,
    상기 출력 영상은 상기 노이즈가 제거된 영상인, 영상 처리 방법.
  12. 제1항에 있어서,
    상기 입력 영상은, 저해상도의 영상이고,
    상기 출력 영상은, 고해상도의 영상인, 영상 처리 방법.
  13. 제1항에 있어서,
    상기 입력 영상은, 상기 입력 영상의 일부 영역이 손실된 영상이고,
    상기 출력 영상은, 상기 손실된 일부 영역이 복원된 영상인, 영상 처리 방법.
  14. 제1항에 있어서,
    상기 미리 결정된 주파수대역 신호는, 상기 변환된 신호들 중에서 일부 주파수대역 신호 또는 전체 주파수대역 신호에 해당하는, 영상 처리 방법.
  15. 제1항에 있어서,
    상기 전체 계수는,
    상기 복원된 계수들 및 상기 미리 결정된 주파수대역 신호의 계수 간의 덧셈 또는 접합(concatenation)으로 결정되는, 영상 처리 방법.
  16. 프로세서; 및
    상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리
    를 포함하고,
    상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 입력 영상을 서로 다른 주파수에 대응하는 신호들로 변환하고, 상기 변환된 신호들의 계수들 중 미리 결정된 주파수대역 신호의 계수를 제외한 나머지 계수들을 식별하고, 미리 학습된 뉴럴 네트워크를 이용하여, 상기 나머지 계수들을 복원하며, 상기 복원된 계수들 및 상기 미리 결정된 주파수대역 신호에 대응하는 계수에 기초하여 결정된 전체 계수를 출력 영상으로 역변환하는 영상 처리 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 입력 영상에 포함된 결함의 특성을 부각시키면서 역변환이 가능한 변환 기법을 이용하여 상기 입력 영상을 상기 신호들로 변환하는, 영상 처리 장치.
  18. 제17항에 있어서,
    상기 변환 기법은,
    웨이블릿 변환, 코사인 변환, 사인 변환, 푸리에 변환, 이산 변환 중 어느 하나를 포함하는, 영상 처리 장치.
  19. 제16항에 있어서,
    상기 프로세서는,
    컨볼류션 뉴럴 네트워크를 이용하여, 상기 나머지 계수들에 포함된 결함을 제거하는, 영상 처리 장치.
KR1020170016660A 2016-07-22 2017-02-07 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치 KR101961177B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160093577 2016-07-22
KR1020160093577 2016-07-22

Publications (2)

Publication Number Publication Date
KR20180010950A true KR20180010950A (ko) 2018-01-31
KR101961177B1 KR101961177B1 (ko) 2019-03-22

Family

ID=61083171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170016660A KR101961177B1 (ko) 2016-07-22 2017-02-07 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101961177B1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190110320A (ko) * 2018-03-20 2019-09-30 영남대학교 산학협력단 영상 복원 방법과 이를 수행하기 위한 장치 및 시스템
KR20190114229A (ko) * 2018-03-29 2019-10-10 울산대학교 산학협력단 영상 처리 장치 및 방법
KR20190121954A (ko) * 2018-04-19 2019-10-29 재단법인 대구경북첨단의료산업진흥재단 광음향 시스템의 영상 생성 장치 및 그 방법
KR20190131800A (ko) * 2018-05-17 2019-11-27 한국과학기술원 뉴럴 네트워크를 이용하는 영상 처리 장치 및 상기 장치가 수행하는 방법
KR20200025889A (ko) * 2018-08-31 2020-03-10 서울대학교산학협력단 영상 복원 장치 및 방법
KR20200072586A (ko) * 2018-11-30 2020-06-23 서울대학교산학협력단 딥러닝 기반의 이미지 개인정보 가공장치 시스템, 장치 및 그 방법
KR20200080380A (ko) * 2018-12-17 2020-07-07 주식회사 포스코 컨볼루션 신경망을 이용한 기어박스의 결함상태 판별 장치 및 방법
KR20200080367A (ko) * 2018-12-14 2020-07-07 한국광기술원 불량 콘택트렌즈 검출 시스템 및 방법
US20200349673A1 (en) * 2018-01-23 2020-11-05 Nalbi Inc. Method for processing image for improving the quality of the image and apparatus for performing the same
WO2020222391A1 (en) * 2019-04-30 2020-11-05 Samsung Electronics Co., Ltd. System and method for invertible wavelet layer for neural networks
KR20210012173A (ko) * 2019-07-24 2021-02-03 금오공과대학교 산학협력단 영상데이터의 학습방법 및 장치
WO2021230707A1 (ko) * 2020-05-15 2021-11-18 삼성전자 주식회사 압축 영상의 노이즈를 추출하는 방법 및 장치, 압축 영상의 노이즈를 저감하는 방법 및 장치
US11514692B2 (en) 2018-07-02 2022-11-29 Samsung Electronics Co., Ltd. Method and apparatus for building image model
US11599981B2 (en) 2019-10-29 2023-03-07 SK Hynix Inc. Image processing system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11978146B2 (en) 2018-09-18 2024-05-07 Seoul National University R&Db Foundation Apparatus and method for reconstructing three-dimensional image
KR102047977B1 (ko) 2019-08-21 2019-11-22 주식회사 인포웍스 심층 신경망 알고리즘 기반 eo／ir 영상 융합 시스템 및 방법
KR102482454B1 (ko) 2019-11-28 2022-12-29 인천대학교 산학협력단 Ｃｎｎ 덴스 레이어를 이용한 영상 처리 장치 및 방법
KR102412857B1 (ko) 2020-08-03 2022-06-30 주식회사 인포웍스 심층 신경망 알고리즘 기반 EO IR RADAR LiDAR 센서융합 객체 인식 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130077653A (ko) * 2011-12-29 2013-07-09 광운대학교 산학협력단 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130077653A (ko) * 2011-12-29 2013-07-09 광운대학교 산학협력단 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Bhutada, G. G., R. S. Anand, and S. C. Saxena. "Image enhancement by wavelet-based thresholding neural network with adaptive learning rate." IET image processing 5.7, 2011.10.* *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200349673A1 (en) * 2018-01-23 2020-11-05 Nalbi Inc. Method for processing image for improving the quality of the image and apparatus for performing the same
US11798131B2 (en) * 2018-01-23 2023-10-24 Nalbi Inc. Method for processing image for improving the quality of the image and apparatus for performing the same
KR20190110320A (ko) * 2018-03-20 2019-09-30 영남대학교 산학협력단 영상 복원 방법과 이를 수행하기 위한 장치 및 시스템
KR20190114229A (ko) * 2018-03-29 2019-10-10 울산대학교 산학협력단 영상 처리 장치 및 방법
KR20190121954A (ko) * 2018-04-19 2019-10-29 재단법인 대구경북첨단의료산업진흥재단 광음향 시스템의 영상 생성 장치 및 그 방법
KR20190131800A (ko) * 2018-05-17 2019-11-27 한국과학기술원 뉴럴 네트워크를 이용하는 영상 처리 장치 및 상기 장치가 수행하는 방법
US11145028B2 (en) 2018-05-17 2021-10-12 Korea Advanced Institute Of Science And Technology Image processing apparatus using neural network and method performed by image processing apparatus
US11514692B2 (en) 2018-07-02 2022-11-29 Samsung Electronics Co., Ltd. Method and apparatus for building image model
KR20200025889A (ko) * 2018-08-31 2020-03-10 서울대학교산학협력단 영상 복원 장치 및 방법
KR20200072586A (ko) * 2018-11-30 2020-06-23 서울대학교산학협력단 딥러닝 기반의 이미지 개인정보 가공장치 시스템, 장치 및 그 방법
KR20200080367A (ko) * 2018-12-14 2020-07-07 한국광기술원 불량 콘택트렌즈 검출 시스템 및 방법
KR20200080380A (ko) * 2018-12-17 2020-07-07 주식회사 포스코 컨볼루션 신경망을 이용한 기어박스의 결함상태 판별 장치 및 방법
WO2020222391A1 (en) * 2019-04-30 2020-11-05 Samsung Electronics Co., Ltd. System and method for invertible wavelet layer for neural networks
US11989637B2 (en) 2019-04-30 2024-05-21 Samsung Electronics Co., Ltd. System and method for invertible wavelet layer for neural networks
KR20210012173A (ko) * 2019-07-24 2021-02-03 금오공과대학교 산학협력단 영상데이터의 학습방법 및 장치
US11599981B2 (en) 2019-10-29 2023-03-07 SK Hynix Inc. Image processing system
WO2021230707A1 (ko) * 2020-05-15 2021-11-18 삼성전자 주식회사 압축 영상의 노이즈를 추출하는 방법 및 장치, 압축 영상의 노이즈를 저감하는 방법 및 장치

Also Published As

Publication number Publication date
KR101961177B1 (ko) 2019-03-22

Similar Documents

Publication Publication Date Title
KR101961177B1 (ko) 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치
Han et al. Framing U-Net via deep convolutional framelets: Application to sparse-view CT
Kang et al. Deep convolutional framelet denosing for low-dose CT via wavelet residual network
Ye et al. Deep convolutional framelets: A general deep learning framework for inverse problems
KR102089151B1 (ko) 확장된 뉴럴 네트워크를 이용한 영상 복원 방법 및 장치
Liu et al. IFR-Net: Iterative feature refinement network for compressed sensing MRI
CN114140353B (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
KR102094598B1 (ko) 뉴럴 네트워크를 이용한 희소 뷰 전산단층 촬영 영상 처리 방법 및 그 장치
Romano et al. The little engine that could: Regularization by denoising (RED)
Bnou et al. A wavelet denoising approach based on unsupervised learning model
US20190066346A1 (en) Apparatus and method for reconstructing image using extended neural network
Thakur et al. State‐of‐art analysis of image denoising methods using convolutional neural networks
KR20190138107A (ko) 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치
KR102061967B1 (ko) 뉴럴 네트워크를 이용한 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치
Grigoryan et al. Optimal Wiener and homomorphic filtration
Lyu et al. A nonsubsampled countourlet transform based CNN for real image denoising
Wang et al. Denoising auto-encoding priors in undecimated wavelet domain for MR image reconstruction
Pfister et al. Learning sparsifying filter banks
Matviychuk et al. Learning a multiscale patch-based representation for image denoising in X-ray fluoroscopy
CN115018728A (zh) 基于多尺度变换和卷积稀疏表示的图像融合方法及系统
CN114648048A (zh) 基于变分自编码和PixelCNN模型的心电信号降噪方法
Navarro et al. Logarithmic wavelets
Kotzagiannidis et al. Sparse graph signal reconstruction and image processing on circulant graphs
Singh et al. An advanced technique of de-noising medical images using ANFIS
Nayak et al. DMF-Net: a deep multi-level semantic fusion network for high-resolution chest CT and X-ray image de-noising

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant