KR102313870B1 - 최적화 기법 및 얕은 cnn을 이용한 적응적 가우시안 잡음 제거 모델 - Google Patents

최적화 기법 및 얕은 cnn을 이용한 적응적 가우시안 잡음 제거 모델 Download PDF

Info

Publication number
KR102313870B1
KR102313870B1 KR1020200154284A KR20200154284A KR102313870B1 KR 102313870 B1 KR102313870 B1 KR 102313870B1 KR 1020200154284 A KR1020200154284 A KR 1020200154284A KR 20200154284 A KR20200154284 A KR 20200154284A KR 102313870 B1 KR102313870 B1 KR 102313870B1
Authority
KR
South Korea
Prior art keywords
noise level
gaussian noise
kernel
cnn
dct
Prior art date
Application number
KR1020200154284A
Other languages
English (en)
Inventor
송병철
이상혁
이승현
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020200154284A priority Critical patent/KR102313870B1/ko
Application granted granted Critical
Publication of KR102313870B1 publication Critical patent/KR102313870B1/ko

Links

Images

Classifications

    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

얕은 CNN을 이용한 가우시안 잡음 레벨 추정 방법 및 장치가 제시된다. 본 발명에서 제안하는 얕은 CNN을 이용한 가우시안 잡음 레벨 추정 방법은 DCT 커널 학습부를 통해 입력 영상에 DCT(Discreet Cosine Transform)를 취하여 잡음 제거에 사용되는 커널을 복수의 가우시안 잡음 레벨(Gaussian noise level)에 대하여 학습하는 단계, CNN 기반 가우시안 잡음 레벨 추정부가 CNN(Convolution Neural Network)기반 네트워크를 이용하여 입력 이미지의 가우시안 잡음 레벨을 추정하고 이를 기반으로 DCT 커널 학습부에서 얻은 커널 중 가장 적절한 것을 선택하는 단계 및 잡음 제거부가 CNN 기반 가우시안 잡음 레벨 추정부에서 선택한 커널을 이용하여 잡음 제거를 수행하는 단계를 포함한다.

Description

최적화 기법 및 얕은 CNN을 이용한 적응적 가우시안 잡음 제거 모델{Adaptive Gaussian Noise Level Estimation Model Using Optimization Technique and Shallow CNN}
본 발명은 최적화 기법 및 얕은 CNN을 이용한 적응적 가우시안 잡음 제거 방법 및 장치에 관한 것이다.
최근 몇 년간 영상처리 및 컴퓨터비전 분야는 딥러닝을 필두로 비약적인 발전을 거듭해 왔다. 이는 방대한 양의 데이터, 그리고 무엇보다도 하드웨어의 성능의 발전 덕분이라고 할 수 있다. 그 결과 이미지 인식(Image Recognition) 분야에서는 그 성능이 이미 인간의 능력을 뛰어넘었다. 그 뿐만 아니라 고해상도화(Super Resolution), 물체 검출(Object Detection), 이미지 잡음 제거(Image Denoising) 등 세부 영역들을 아우르며 그 효과를 보이고 있다.
그러나 이러한 딥러닝 기반의 기법들은 공통적으로 많은 양의 연산량, 그리고 파라미터들을 저장할 충분한 양의 메모리를 요구한다는 단점이 존재한다. 예를 들면 백본 네트워크(Backbone Network)으로 많이 쓰이는 ResNet 계열의 네트워크 중 resnet18의 경우 2GFLOPs의 연산량, 그리고 45MB의 메모리가 요구된다. 이 때문에 임베디드 시스템 환경에서 사용하기가 쉽지 않다는 특징이 존재한다. 이와 같은 놀라운 성능을 보임에도 불구하고 여전히 SOC 환경에서는 규칙-기반(rule-based)의 전통적인 방식을 사용하는 것으로 알려져 있다.
기존의 가우시안 잡음 레벨 추정 기법은 대부분 통계적 기법을 기반으로 하는 규칙-기반(rule-based) 기법에 해당한다. 대표적인 예로 PCA로 잘 알려져 있는 주성분 분석 기법을 활용한 [1], [2] 등이 있다. [1]의 기법은 크게 두 가지 부분으로 나뉜다. 먼저 저주파 대역의 성분들이 대부분인 영상 조각들을 추출하는 과정이다. 작은 영상 조각을 이용하여 가로 방향과 세로 방향에 대한 기울기(gradient) 행렬을 유도할 수 있다. 이 행렬의 공분산(covariance) 행렬의 트레이스(trace) 값, 즉 고유값(eigenvalues)의 합을 텍스쳐(texture) 세기를 나타내는 변수로 지정한다. 이 변수의 값이 클수록 영상의 텍스쳐가 강하다고 할 수 있다. 이후 통계적 방식으로 임계값을 구하고 변수의 값이 임계값보다 낮은 조각들을 선택한다. 다음으로는 잡음 레벨 추정 단계이다. 단순한 PCA 기반의 잡음 레벨 추정 기법들은 평탄한 영상에 대해 좋은 성능을 보인다. 하지만 앞 단계에서 임계값을 정하는 과정에 추정한 잡음 레벨이 필요하므로 반복 방법으로 위 과정을 반복하며 최종 추정 잡음 레벨을 유도하게 된다.
[2]의 경우 깨끗한 영상 조각들을 분해했을 경우 대부분 낮은 차원의 서브 스페이스(subspace)에 존재한다는 점에 주목한다. 즉 영상 조각들의 고유값의 분포를 분석하여 특정 차원 이상의 고유값들의 평균값이 그 중간값과 같을 때 그 값을 잡음 레벨로 한다는 것이다.
앞의 두 기법들은 모두 영상 전체를 조각으로 쪼개어 반복 방법으로 탐색을 진행하고 PCA 기법뿐만 아니라 여러 통계적 기법들을 이용한다. 이 때문에 구현의 난이도가 크고 연산 비용이 증가한다는 단점이 존재한다.
[1] Liu, Xinhao, Masayuki Tanaka, and Masatoshi Okutomi. "Single-image noise level estimation for blind denoising." IEEE transactions on image processing 22.12 (2013): 5226-5237.
[2] Chen, Guangyong, Fengyuan Zhu, and Pheng Ann Heng. "An efficient statistical method for image noise level estimation." Proceedings of the IEEE International Conference on Computer Vision. 2015.
본 발명이 이루고자 하는 기술적 과제는 학습 기반의 잡음 제거를 위한 DCT(Discreet Cosine Transform) 커널(kernel) 추정 방법 및 장치를 제공하는데 있다. 학습 기반의 잡음 제거를 위한 DCT 커널 추정 기법을 이용하여 임베디드 시스템에서 이용되는 DCT 기반의 잡음 제거 알고리즘에 쓰이는 커널을 복수의 가우시안 잡음 레벨에 대한 학습을 통해 획득하고, CNN 기반의 가우시안 잡음 레벨 추정 기법을 통해 잡음 레벨을 추정하고 이를 근거로 미리 학습된 커널 중 가장 가까운 것을 이용하여 잡음 제거를 수행한다.
일 측면에 있어서, 본 발명에서 제안하는 최적화 기법 및 얕은 CNN을 이용한 적응적 가우시안 잡음 제거 방법은 DCT 커널 학습부를 통해 입력 영상에 DCT(Discreet Cosine Transform)를 취하여 잡음 제거에 사용되는 커널을 복수의 가우시안 잡음 레벨(Gaussian noise level)에 대하여 학습하는 단계, CNN 기반 가우시안 잡음 레벨 추정부가 CNN(Convolution Neural Network)기반 네트워크를 이용하여 입력 영상의 가우시안 잡음 레벨을 추정하고 이를 기반으로 DCT 커널 학습부에서 얻은 커널 중 가장 적절한 것을 선택하는 단계 및 CNN 기반 가우시안 잡음 레벨 추정부에서 선택한 커널을 이용하여 잡음 제거부가 학습된 커널 중 DCT를 통해 미리 정해진 임계값 이상에 해당하는 커널만을 이용하여 잡음 제거를 수행하는 단계를 포함한다.
DCT 커널 학습부를 통해 입력 영상에 DCT를 취하여 잡음 제거에 사용되는 커널을 복수의 가우시안 잡음 레벨에 대하여 학습하는 단계는 학습을 위해 커널을 타겟 잡음 레벨의 미리 정해진 배수에 해당하는 값으로 초기화하고, 소프트 임계화 함수(soft thresholding function)를 통해 하기 수식을 이용하여 학습하고,
Figure 112020123551890-pat00001
여기서, x는 입력, t는 임계값,
Figure 112020123551890-pat00002
는 임계화의 세기를 나타내며, 학습을 반복 수행함에 따라
Figure 112020123551890-pat00003
값을 감소시키면서 반복 수행한다.
CNN 기반 가우시안 잡음 레벨 추정부가 CNN기반 네트워크를 이용하여 입력 영상의 가우시안 잡음 레벨을 추정하고 이를 기반으로 DCT 커널 학습부에서 얻은 커널 중 가장 적절한 것을 선택하는 단계는 CNN기반 네트워크가 제1 컨볼루션 레이어, 제2 컨볼루션 레이어 및 제3 컨볼루션 레이어를 포함하고, 제1 컨볼루션 레이어 및 제2 컨볼루션 레이어는 ReLU 활성화 함수(activation function)가 뒤따르고, 제3 컨볼루션 레이어는 ReLU 활성화 함수가 뒤따르지 않고, 제2 컨볼루션 레이어에는 배치 정규화 레이어(batch normalization layer)가 추가되고, 최종적으로 RGB 세 채널을 가지는 추정된 잡음 영상을 출력하고, 추정된 잡음 영상의 표준편차를 계산함으로써 가우시안 잡음 레벨을 추정한다.
입력 영상의 조각의 개수가 하나 이상일 경우 각각에 대해 얻은 잡음 레벨의 평균값을 구한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 얕은 CNN을 이용한 가우시안 잡음 레벨 추정 장치는 입력 영상에 DCT(Discreet Cosine Transform)를 취하여 잡음 제거에 사용되는 커널을 복수의 가우시안 잡음 레벨(Gaussian noise level)에 대하여 학습하는 DCT 커널 학습부, CNN(Convolution Neural Network)기반 네트워크를 이용하여 입력 영상의 가우시안 잡음 레벨을 추정하고 이를 기반으로 DCT 커널 학습부에서 얻은 커널 중 가장 적절한 것을 선택하는 CNN 기반 가우시안 잡음 레벨 추정부 및 CNN 기반 가우시안 잡음 레벨 추정부에서 선택한 커널을 이용하여 잡음 제거를 수행하는 잡음 제거부를 포함한다.
본 발명의 실시예들에 따르면 학습 기반의 잡음 제거를 위한 DCT 커널 추정 방법 및 장치를 통해 학습 기반의 잡음 제거를 위한 DCT 커널 추정 기법을 이용하여 임베디드 시스템에서 이용되는 DCT 기반의 잡음 제거 알고리즘에 쓰이는 커널을 복수의 가우시안 잡음 레벨에 대한 학습을 통해 획득하고, CNN 기반의 가우시안 잡음 레벨 추정 기법을 통해 잡음 레벨을 추정하고 이를 근거로 미리 학습된 커널 중 가장 가까운 것을 이용하여 잡음 제거를 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 얕은 CNN을 이용한 가우시안 잡음 레벨 추정 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 얕은 CNN을 이용한 가우시안 잡음 레벨 추정 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 DCT 커널 획득 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 CNN 기반 가우시안 잡음 레벨 추정 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 잡음 제거 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 잡음 레벨이 10일 때 잡음 제거 영상을 비교하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 잡음 레벨이 20일 때 잡음 제거 영상을 비교하기 위한 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 얕은 CNN을 이용한 가우시안 잡음 레벨 추정 방법을 설명하기 위한 도면이다.
제안하는 얕은 CNN을 이용한 가우시안 잡음 레벨 추정 방법은 DCT 커널 학습부를 통해 입력 영상에 DCT(Discreet Cosine Transform)를 취하여 잡음 제거에 사용되는 커널을 복수의 가우시안 잡음 레벨(Gaussian noise level)에 대하여 학습하는 단계(110), CNN 기반 가우시안 잡음 레벨 추정부가 CNN(Convolution Neural Network)기반 네트워크를 이용하여 입력 영상의 가우시안 잡음 레벨을 추정하고 이를 기반으로 DCT 커널 학습부에서 얻은 커널 중 가장 적절한 것을 선택하는 단계(120) 및 잡음 제거부가 CNN 기반 가우시안 잡음 레벨 추정부에서 선택한 커널을 이용하여 잡음 제거를 수행하는 단계(130)를 포함한다.
단계(110)에서, DCT 커널 학습부를 통해 입력 영상에 DCT(Discreet Cosine Transform)를 취하여 잡음 제거에 사용되는 커널을 복수의 가우시안 잡음 레벨(Gaussian noise level)에 대하여 학습한다.
학습을 통해 DCT 커널을 획득하고, 본 발명의 일 실시예에 따르면 8×8 크기(실시예일뿐 이에 한정되지 않음)의 커널을 사용한다. 이러한 커널은 그 위치마다 서로 다른 의미를 가진다. 즉, 좌상단으로 갈수록 커널의 값은 더 낮은 주파수 대역의 성분을 의미하고 우하단으로 갈수록 더 높은 주파수 대역의 성분을 의미한다. 학습을 통해 각 영역에서 최적치에 가까운 임계값을 얻게 된다.
단계(120)에서, CNN 기반 가우시안 잡음 레벨 추정부가 CNN(Convolution Neural Network)기반 네트워크를 이용하여 입력 영상의 가우시안 잡음 레벨을 추정하고 이를 기반으로 DCT 커널 학습부에서 얻은 커널 중 가장 적절한 것을 선택한다.
CNN 기반의 얕은 네트워크를 이용하여 입력 영상의 가우시안 잡음 레벨을 추정하는 것이다. 하드웨어 제약을 고려하여 세 개의 컨볼루션 레이어로 이루어진 완전 컨볼루션 네트워크(fully convolutional network)를 이용한다. 이를 통해 잡음 특징 맵(noise feature map)을 추정하고, 해당 맵의 표준편차를 계산하여 최종 추정값을 획득한다.
단계(130)에서, 잡음 제거부가 CNN 기반 가우시안 잡음 레벨 추정부에서 선택한 커널을 이용하여 잡음 제거를 수행한다.
잡음이 포함된 영상에서 8×8 크기의 조각들이 입력 영상으로 들어오게 되고 DCT 변환을 거치게 된다. 이후 커널의 각 위치에 미리 정해진 임계값보다 큰 부분만 살리고 작은 부분들은 0으로 만드는 임계화(thresholding) 작업, 또는 마스킹(masking) 작업을 거치게 된다. 이후 역 DCT(inverse Discreet Cosine Transform)를 거치면 잡음이 제거된 영상 조각을 얻을 수 있다. 이를 영상의 모든 부분에 걸쳐 반복 수행하면 최종적으로 잡음이 제거된 전체 영상을 획득하게 된다. 각 단계에 대하여 도 3 내지 도 5를 참조하여 더욱 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 얕은 CNN을 이용한 가우시안 잡음 레벨 추정 장치의 구성을 나타내는 도면이다.
제안하는 얕은 CNN을 이용한 가우시안 잡음 레벨 추정 장치는 DCT 커널 학습부(210), CNN 기반 가우시안 잡음 레벨 추정부(220) 및 잡음 제거부(230)를 포함한다.
DCT 커널 학습부(210)는 입력 영상에 DCT(Discreet Cosine Transform)를 취하여 잡음 제거에 사용되는 커널을 복수의 가우시안 잡음 레벨(Gaussian noise level)에 대하여 학습한다.
학습을 통해 학습된 DCT 커널(211)을 획득하고, 커널 뱅크(212)에 저장한다. 본 발명의 일 실시예에 따르면 8×8 크기(실시예일뿐 이에 한정되지 않음)의 커널을 사용한다. 이러한 커널은 그 위치마다 서로 다른 의미를 가진다. 즉, 좌상단으로 갈수록 커널의 값은 더 낮은 주파수 대역의 성분을 의미하고 우하단으로 갈수록 더 높은 주파수 대역의 성분을 의미한다. 학습을 통해 각 영역에서 최적치에 가까운 임계값을 얻게 된다.
CNN 기반 가우시안 잡음 레벨 추정부(220)는 CNN(Convolution Neural Network)기반 네트워크를 이용하여 입력 영상의 가우시안 잡음 레벨을 추정하고 이를 기반으로 DCT 커널 학습부에서 얻은 커널 중 가장 적절한 것을 선택한다.
CNN 기반의 얕은 네트워크를 이용하여 입력 영상의 가우시안 잡음 레벨을 추정하는 것이다. 하드웨어 제약을 고려하여 세 개의 컨볼루션 레이어로 이루어진 완전 컨볼루션 네트워크(fully convolutional network)를 이용한다. 이를 통해 잡음 특징 맵(noise feature map)을 추정하고, 해당 맵의 표준편차를 계산하여 최종 추정값을 획득한다.
잡음 제거부(230)는 CNN 기반 가우시안 잡음 레벨 추정부(220)에서 선택한 커널(231)을 이용하여 잡음 제거를 수행한다.
잡음이 포함된 영상에서 8×8 크기의 조각들이 입력 영상으로 들어오게 되고 DCT 변환을 거치게 된다. 이후 커널의 각 위치에 미리 정해진 임계값보다 큰 부분만 살리고 작은 부분들은 0으로 만드는 임계화(thresholding) 작업, 또는 마스킹(masking) 작업을 거치게 된다. 이후 역 DCT(inverse Discreet Cosine Transform)를 거치면 잡음이 제거된 영상 조각을 얻을 수 있다. 이를 영상의 모든 부분에 걸쳐 반복 수행하면 최종적으로 잡음이 제거된 전체 영상을 획득하게 된다. 각 구성에 대하여 도 3 내지 도 5를 참조하여 더욱 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 DCT 커널 획득 과정을 설명하기 위한 도면이다.
도 3(a)는 임계값이 0.5이고,
Figure 112020123551890-pat00004
값이 0.05일 때 임계화 함수 개형 예시이고, 도 3(b)는 임계값이 0.5이고,
Figure 112020123551890-pat00005
값이 0.01일 때 임계화 함수 개형 예시이다.
먼저 입력으로 들어오는 영상의 조각들에 DCT 연산을 취한다. 다음으로 같은 사이즈의 커널을 통해 임계화하여 잡음 제거를 수행하게 된다. 이러한 커널에 대한 학습을 통해 좀 더 최적치에 가까운 것을 얻는 것이 본 발명의 목표이다. 본 발명의 실시예에 따르면, 학습을 위해 DCT 커널을 타겟 잡음 레벨의 3배에 해당하는 값으로 초기화한다. 잡음 제거를 직접적으로 수행하게 되는 임계화 함수로 하드 임계화(hard thresholding)하게 될 경우 임계값에서 미분이 불가능하기 때문에 학습이 불가능해지는 문제가 있다. 이를 해결하기 위하여 본 발명에서는 소프트 임계화 함수(soft thresholding function)를 도입한다. 하기 수식에서 하이퍼파라미터(hyperparameter)
Figure 112020123551890-pat00006
는 임계화의 세기를 나타내는 변수이다.
Figure 112020123551890-pat00007
여기서, x는 입력, t는 임계값,
Figure 112020123551890-pat00008
는 임계화의 세기를 나타내며, 학습을 반복 수행함에 따라
Figure 112020123551890-pat00009
값을 감소시키면서 반복 수행한다. 학습 초기부터 낮은
Figure 112020123551890-pat00010
를 사용할 경우 학습이 불안정해지는 문제가 발생한다. 따라서 학습을 시작할 때에는 비교적 큰 값으로 초기화를 수행하고 점차 그 값을 줄이면서 하드 임계화에 가까워지도록 유도한다.
도 4는 본 발명의 일 실시예에 따른 CNN 기반 가우시안 잡음 레벨 추정 과정을 설명하기 위한 도면이다.
본 발명에서 제안하는 잡음 레벨 추정 기법은 완전 컨볼루션 네트워크(fully convolutional network)의 형태를 띠고 있다. 따라서, 입력 영상의 크기에 제한이 없다. 네트워크의 구조는 다음과 같다. 세 개의 컨볼루션 레이어들(제1 컨볼루션 레이어(410), 제2 컨볼루션 레이어(420) 및 제3 컨볼루션 레이어(430))로 이루어져 있으며, 제3 컨볼루션 레이어(430)를 제외하고, 제1 컨볼루션 레이어(410)와 제2 컨볼루션 레이어(420)는 모두 ReLU 활성화 함수(activation function)(412, 423)이 뒤따라 온다. 제2 컨볼루션 레이어(420)에는 특히 배치 정규화 레이어(batch normalization layer)(422)가 추가되어 있다. 다시 말해, 제1 컨볼루션 레이어(410)는 컨볼루션레이어(411) 및 ReLU 활성화 함수 레이어(412)를 포함하고, 제2 컨볼루션 레이어(420)는 컨볼루션레이어(421), ReLU 활성화 함수 레이어(422) 및 ReLU 활성화 함수 레이어(423)를 포함한다.
최종적으로 RGB 3채널을 가지는 추정된 잡음 영상을 출력하게 되고, 이 영상의 표준 편차를 계산함으로써 가우시안 잡음 레벨을 추정한다. 입력으로 들어오는 영상 조각의 개수가 하나 이상일 경우 각각에 대해 얻은 잡음 레벨의 평균값을 구한다. 본 발명의 일 실시예에 따르면 8×8 크기(실시예일뿐 이에 한정되지 않음)의 커널을 사용한다.
도 5는 본 발명의 일 실시예에 따른 잡음 제거 과정을 설명하기 위한 도면이다.
먼저 하고자 하는 잡음 제거 기법에서 커널이 어떤 방식으로 이용되는지 살펴본다. 잡음이 낀 영상에서 8×8 크기의 조각들이 입력으로 들어오게 되고 DCT(Discreet Cosine Transform)(510)을 거치게 된다. 이후 커널의 각 위치에 해당하는 값보다 큰 부분만 살리고 작은 부분들은 0으로 만드는 임계화 작업, 혹은 마스킹(520)작업을 거치게 된다. 이후 역 DCT(Inverse Discreet Cosine Transform)(530)을 거치면 잡음이 제거된 영상 조각을 얻을 수가 있다. 이를 영상의 모든 부분에 걸쳐 수행하면 최종적으로 잡음이 제거된 전체 영상을 얻게 된다. 이 때 잡음 영상으로부터 조각들이 입력으로 들어올 때 겹치는 부분이 발생할 수가 있는데, 이 경우 최종 결과를 도출해낼 때 겹치는 부분을 평균내면 문제없이 잡음 제거 작업을 수행할 수 있다.
도 6은 본 발명의 일 실시예에 따른 잡음 레벨이 10일 때 잡음 제거 영상을 비교하기 위한 도면이다.
도 6은 잡음 레벨이 10일 때 잡음 제거 영상을 비교한 것으로, 도 6(a)는 가우시안 잡음 영상(
Figure 112020123551890-pat00011
=10), 도 6(b)는 결과 영상, 도 6(c)는 원본 영상이다.
도 7은 본 발명의 일 실시예에 따른 잡음 레벨이 20일 때 잡음 제거 영상을 비교하기 위한 도면이다.
도 7은 잡음 레벨이 20일 때 잡음 제거 영상을 비교한 것으로, 도 7(a)는 가우시안 잡음 영상(
Figure 112020123551890-pat00012
=20), 도 7(b)는 결과 영상, 도 7(c)는 원본 영상이다.
이와 같이, 본 발명의 실시예들에 따르면 학습 기반의 잡음 제거를 위한 DCT 커널 추정 방법 및 장치를 통해 학습 기반의 잡음 제거를 위한 DCT 커널 추정 기법을 이용하여 임베디드 시스템에서 이용되는 DCT 기반의 잡음 제거 알고리즘에 쓰이는 커널을 복수의 가우시안 잡음 레벨에 대한 학습을 통해 획득하고, CNN 기반의 가우시안 잡음 레벨 추정 기법을 통해 잡음 레벨을 추정하고 이를 근거로 미리 학습된 커널 중 가장 가까운 것을 이용하여 잡음 제거를 수행할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. DCT 커널 학습부를 통해 입력 영상에 DCT(Discreet Cosine Transform)를 취하여 잡음 제거에 사용되는 커널을 복수의 가우시안 잡음 레벨(Gaussian noise level)에 대하여 학습하는 단계;
    CNN 기반 가우시안 잡음 레벨 추정부가 CNN(Convolution Neural Network)기반 네트워크를 이용하여 입력 영상의 가우시안 잡음 레벨을 추정하고, 추정된 가우시안 잡음 레벨에 기초하여 DCT 커널 학습부에서 획득한 커널 중 미리 정해진 임계값 이상에 해당하는 커널을 선택하는 단계; 및
    잡음 제거부가 CNN 기반 가우시안 잡음 레벨 추정부에서 선택한 커널을 이용하여 잡음 제거를 수행하는 단계
    를 포함하고,
    CNN 기반 가우시안 잡음 레벨 추정부가 CNN 기반 네트워크를 이용하여 입력 영상의 가우시안 잡음 레벨을 추정하고, 추정된 가우시안 잡음 레벨에 기초하여 DCT 커널 학습부에서 획득한 커널 중 미리 정해진 임계값 이상에 해당하는 커널을 선택하는 단계는,
    CNN기반 네트워크가 제1 컨볼루션 레이어, 제2 컨볼루션 레이어 및 제3 컨볼루션 레이어를 포함하고, 제1 컨볼루션 레이어 및 제2 컨볼루션 레이어는 ReLU 활성화 함수(activation function)가 뒤따르고, 제3 컨볼루션 레이어는 ReLU 활성화 함수가 뒤따르지 않고, 제2 컨볼루션 레이어에는 배치 정규화 레이어(batch normalization layer)가 추가되고, 최종적으로 RGB 세 채널을 가지는 추정된 잡음 영상을 출력하고, 추정된 잡음 영상의 표준편차를 계산함으로써 가우시안 잡음 레벨을 추정하는
    가우시안 잡음 레벨 추정 방법.
  2. 제1항에 있어서,
    DCT 커널 학습부를 통해 입력 영상에 DCT를 취하여 잡음 제거에 사용되는 커널을 복수의 가우시안 잡음 레벨에 대하여 학습하는 단계는,
    학습을 위해 커널을 타겟 잡음 레벨의 미리 정해진 배수에 해당하는 값으로 초기화하고,
    소프트 임계화 함수(soft thresholding function)를 통해 하기 수식을 이용하여 학습하고,
    Figure 112021100500014-pat00026

    여기서, x는 입력, t는 임계값,
    Figure 112021100500014-pat00027
    는 임계화의 세기를 나타내며, 학습을 반복 수행함에 따라
    Figure 112021100500014-pat00028
    값을 감소시키면서 반복 수행하는
    가우시안 잡음 레벨 추정 방법.
  3. 삭제
  4. 제1항에 있어서,
    입력 영상의 조각의 개수가 하나 이상일 경우 각각에 대해 얻은 잡음 레벨의 평균값을 구하는
    가우시안 잡음 레벨 추정 방법.
  5. 입력 영상에 DCT(Discreet Cosine Transform)를 취하여 잡음 제거에 사용되는 커널을 복수의 가우시안 잡음 레벨(Gaussian noise level)에 대하여 학습하는 DCT 커널 학습부;
    CNN(Convolution Neural Network)기반 네트워크를 이용하여 입력 영상의 가우시안 잡음 레벨을 추정하고, 추정된 가우시안 잡음 레벨에 기초하여 DCT 커널 학습부에서 획득한 커널 중 미리 정해진 임계값 이상에 해당하는 커널을 선택하는 CNN 기반 가우시안 잡음 레벨 추정부; 및
    CNN 기반 가우시안 잡음 레벨 추정부에서 선택한 커널을 이용하여 잡음 제거를 수행하는 잡음 제거부
    를 포함하고,
    CNN 기반 가우시안 잡음 레벨 추정부는,
    제1 컨볼루션 레이어, 제2 컨볼루션 레이어 및 제3 컨볼루션 레이어를 포함하고, 제1 컨볼루션 레이어 및 제2 컨볼루션 레이어는 ReLU 활성화 함수(activation function)가 뒤따르고, 제3 컨볼루션 레이어는 ReLU 활성화 함수가 뒤따르지 않고, 제2 컨볼루션 레이어에는 배치 정규화 레이어(batch normalization layer)가 추가되고, 최종적으로 RGB 세 채널을 가지는 추정된 잡음 영상을 출력하고, 추정된 잡음 영상의 표준편차를 계산함으로써 가우시안 잡음 레벨을 추정하는
    가우시안 잡음 레벨 추정 장치.
  6. 제5항에 있어서,
    DCT 커널 학습부는,
    학습을 위해 커널을 타겟 잡음 레벨의 미리 정해진 배수에 해당하는 값으로 초기화하고,
    소프트 임계화 함수(soft thresholding function)를 통해 하기 수식을 이용하여 학습하고,
    Figure 112021100500014-pat00029

    여기서, x는 입력, t는 임계값,
    Figure 112021100500014-pat00030
    는 임계화의 세기를 나타내며, 학습을 반복 수행함에 따라
    Figure 112021100500014-pat00031
    값을 감소시키면서 반복 수행하는
    가우시안 잡음 레벨 추정 장치.
  7. 삭제
  8. 제5항에 있어서,
    입력 영상의 조각의 개수가 하나 이상일 경우 각각에 대해 얻은 잡음 레벨의 평균값을 구하는
    가우시안 잡음 레벨 추정 장치.
KR1020200154284A 2020-11-18 2020-11-18 최적화 기법 및 얕은 cnn을 이용한 적응적 가우시안 잡음 제거 모델 KR102313870B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200154284A KR102313870B1 (ko) 2020-11-18 2020-11-18 최적화 기법 및 얕은 cnn을 이용한 적응적 가우시안 잡음 제거 모델

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200154284A KR102313870B1 (ko) 2020-11-18 2020-11-18 최적화 기법 및 얕은 cnn을 이용한 적응적 가우시안 잡음 제거 모델

Publications (1)

Publication Number Publication Date
KR102313870B1 true KR102313870B1 (ko) 2021-10-18

Family

ID=78271221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200154284A KR102313870B1 (ko) 2020-11-18 2020-11-18 최적화 기법 및 얕은 cnn을 이용한 적응적 가우시안 잡음 제거 모델

Country Status (1)

Country Link
KR (1) KR102313870B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114662680A (zh) * 2022-05-24 2022-06-24 杭州云智声智能科技有限公司 一种基于Gaussian Noise CNN模型多变工况下轴承故障诊断方法与系统
CN117314783A (zh) * 2023-10-16 2023-12-29 南通大学 基于多级去噪网络的卫星闪电成像虚警信号滤除方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05304622A (ja) * 1992-04-24 1993-11-16 Toshiba Corp ノイズ検出装置及びノイズリダクション装置
KR20190048072A (ko) * 2017-10-30 2019-05-09 한화테크윈 주식회사 영상의 노이즈 레벨 결정 방법
KR102063492B1 (ko) * 2018-11-30 2020-01-08 아주대학교산학협력단 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05304622A (ja) * 1992-04-24 1993-11-16 Toshiba Corp ノイズ検出装置及びノイズリダクション装置
KR20190048072A (ko) * 2017-10-30 2019-05-09 한화테크윈 주식회사 영상의 노이즈 레벨 결정 방법
KR102063492B1 (ko) * 2018-11-30 2020-01-08 아주대학교산학협력단 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
[1] Liu, Xinhao, Masayuki Tanaka, and Masatoshi Okutomi. "Single-image noise level estimation for blind denoising." IEEE transactions on image processing 22.12 (2013): 5226-5237.
[2] Chen, Guangyong, Fengyuan Zhu, and Pheng Ann Heng. "An efficient statistical method for image noise level estimation." Proceedings of the IEEE International Conference on Computer Vision. 2015.
Vladimir Vasilyevich Lukin, et al. "Discrete cosine transform-based local adaptive filtering of images corrupted by nonstationary noise", J. of Electronic Imaging, 19(2), (Apr-Jun 2010)(2010.05.03.) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114662680A (zh) * 2022-05-24 2022-06-24 杭州云智声智能科技有限公司 一种基于Gaussian Noise CNN模型多变工况下轴承故障诊断方法与系统
CN117314783A (zh) * 2023-10-16 2023-12-29 南通大学 基于多级去噪网络的卫星闪电成像虚警信号滤除方法

Similar Documents

Publication Publication Date Title
CN109949255B (zh) 图像重建方法及设备
Liu et al. Image interpolation via regularized local linear regression
CN107529650B (zh) 闭环检测方法、装置及计算机设备
US9159121B2 (en) Method for image denoising
Zhang et al. Joint image denoising using adaptive principal component analysis and self-similarity
US20170069059A1 (en) Non-Local Image Denoising
KR102313870B1 (ko) 최적화 기법 및 얕은 cnn을 이용한 적응적 가우시안 잡음 제거 모델
KR20180065889A (ko) 타겟의 검측 방법 및 장치
KR102578209B1 (ko) 영상 처리 방법과 장치
CN112507621B (zh) 一种基于标签传播的雷达干扰半监督识别方法
CN111080654B (zh) 图像的病变区域分割方法、装置及服务器
CN110032704B (zh) 数据处理方法、装置、终端及存储介质
KR102361005B1 (ko) 상관관계와 필터 뱅크 csp 특징의 피셔 비율을 이용한 bci를 위한 최적 전극 선택 장치 및 방법
CN111444807B (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN110809126A (zh) 一种基于自适应可变形卷积的视频帧插值方法及系统
Jiang et al. Efficient noise-level estimation based on principal image texture
Gökcen et al. Real-time impulse noise removal
KR20190140527A (ko) 특징 데이터 획득 방법 및 장치
Dou et al. Fast blind image deblurring using smoothing-enhancing regularizer
Yeh et al. Rain streak removal based on non-negative matrix factorization
CN110176021B (zh) 结合亮度校正的显著性信息的水平集图像分割方法及系统
Dong et al. Content-adaptive noise estimation for color images with cross-channel noise modeling
Yang et al. Mixed noise removal by residual learning of deep cnn
KR101853211B1 (ko) 모바일 gpu 환경에서 차영상 정보를 이용한 sift 알고리즘의 복잡도 감소 기법
CN112927169B (zh) 一种基于小波变换和改进的加权核范数最小化的遥感影像去噪方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant