KR102664214B1 - 질감 보존을 위한 자가-잔차 학습 기반 자가 감독 노이즈 제거 장치 및 방법 - Google Patents
질감 보존을 위한 자가-잔차 학습 기반 자가 감독 노이즈 제거 장치 및 방법 Download PDFInfo
- Publication number
- KR102664214B1 KR102664214B1 KR1020230033553A KR20230033553A KR102664214B1 KR 102664214 B1 KR102664214 B1 KR 102664214B1 KR 1020230033553 A KR1020230033553 A KR 1020230033553A KR 20230033553 A KR20230033553 A KR 20230033553A KR 102664214 B1 KR102664214 B1 KR 102664214B1
- Authority
- KR
- South Korea
- Prior art keywords
- network
- image
- noise
- original image
- predicted
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 75
- 230000006870 function Effects 0.000 claims abstract description 98
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000013459 approach Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 18
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
본 발명의 실시예에 따르면, 노이즈를 포함하는 원본 이미지를 수신하는 수신부; 상기 원본 이미지에 픽셀 셔플 다운 샘플링(PD, Pixel-shuffle Down-sampling)을 수행하여 적어도 하나 이상의 다운 샘플링된 이미지를 생성하는 PD부; 상기 원본 이미지와 상기 다운 샘플링된 이미지에서 각각 노이즈를 제거하고, 상기 원본 이미지의 형태를 복원한 적어도 하나 이상의 예측 이미지를 생성하는 예측 이미지 생성부; 및 상기 예측 이미지와 상기 원본 이미지에 따른 적어도 하나 이상의 손실함수에 기초하여 노이즈 제거 모델을 학습하고 PD없이 노이즈를 제거할 수 있는 장치를 제공할 수 있다.
Description
본 발명은 질감 보존을 위한 자가-잔차 학습 기반 자가 감독 노이즈 제거 장치 및 방법에 관한 것으로, 보다 상세하게는 영상을 획득하는 과정에서 발생하는 노이즈를 제거하기 위한 손실함수 기반 노이즈 제거 모델 학습 및 추론 방법을 이용하는 노이즈 제거 장치 및 방법에 관한 것이다.
종래 자가 지도 블라인드 노이즈 제거 기술(self-supervised blind denoising)은 공간적으로 상관된 노이즈의 손상으로 인해 실제 이미지를 두고 봤을 때 품질이 떨어진다. 최근에는 이러한 노이즈의 공간적 상관관계를 제거하기 위해 픽셀 셔플 다운 샘플링(PD, Pixel-shuffle Down-sampling)이 제안되었다.
최근 비대칭 PD와 블라인드 스팟 네트워크(BSN)를 결합한 연구는 자가 지도 블라인드 노이즈 제거가 실제 노이즈 이미지에 적용 가능함을 성공적으로 입증했다.
그러나 BSN의 PD 기반 추론은 다운 샘플링된 이미지에서 고주파 세부 정보(예: 가장자리)가 파괴되기 때문에 테스트 단계(디노이징 단계)에서 텍스처 세부 정보를 저하시킬 수 있다.
이러한 문제를 해결하기 위해, 텍스처 정보를 유지하도록 PD 프로세스 없이 노이즈 제거가 가능한 모델이 요구된다. 또한 전체 성능을 향상시키기 위해 순서-변이 PD 제약 조건, 노이즈에 관한 사전 지식 기반 손실함수 및 PD를 사용하지 않기 위한 새로운 추론 체계가 요구된다.
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 본 발명의 목적은 원본 이미지의 텍스처 정보를 유지하도록 테스트 단계에서 PD 프로세스 없이 노이즈를 제거하기 위해 노이즈 영상 만으로 노이즈 학습 및 제거가 가능한 모델을 학습하는 방법을 제공하기 위한 것이다.
상기 목적을 달성하기 위한 본 발명의 실시예 중 제 1 측면에 따른 노이즈 제거 장치는, 노이즈를 포함하는 원본 이미지를 수신하는 수신부; 상기 원본 이미지에 픽셀 셔플 다운 샘플링(PD, Pixel-shuffle Down-sampling)을 수행하여 적어도 하나 이상의 다운 샘플링된 이미지를 생성하는 PD부; 상기 원본 이미지와 상기 다운 샘플링된 이미지에서 각각 노이즈를 제거하고, 상기 원본 이미지의 형태를 복원한 적어도 하나 이상의 예측 이미지를 생성하는 예측 이미지 생성부; 및 상기 예측 이미지와 상기 원본 이미지에 따른 적어도 하나 이상의 손실함수에 기초하여 상기 예측 이미지 생성부를 최적화 학습시키는 학습부를 포함할 수 있다.
또한, 상기 PD부는, 적어도 하나 이상의 스트라이드 팩터(stride factor)에 따라 상기 원본 이미지로부터 복수의 상기 다운 샘플링된 이미지를 생성하여 상기 원본이미지의 데이터를 증강시킬 수 있다.
또한, 상기 PD부는, 랜덤하게 선택된 변환 행렬을 이용하는 순서-변이 PD(order-variant PD)를 수행하고, 상기 변환 행렬은 샘플링 순서에 따라 셔플시킬 수 있다.
또한, 상기 예측 이미지 생성부는 상기 원본 이미지와 상기 다운 샘플링된 이미지에서 노이즈를 제거하는 제 1 네트워크와, 서로 다른 스트라이드 팩터에 따라 생성된 복수의 다운 샘플링된 이미지에서 노이즈를 제거하는 제 2 네트워크와, 상기 제 1 네트워크와 상기 제 2 네트워크로부터의 노이즈가 제거된 이미지에서 상기 원본 이미지의 형태를 복원하여 상기 예측 이미지를 생성하는 복원부를 포함할 수 있다.
또한, 상기 학습부는, 상기 제 2 네트워크의 자체 손실을 정의하는 제 1 손실함수와, 상기 제 1 네트워크의 잔여 노이즈 학습(residual noise learning)을 지원하기 위한 제 2 손실함수와, 상기 제 1 네트워크와 상기 제 2 네트워크로부터의 예측 이미지간의 상호 유사도를 높이기 위한 제 3 손실함수와, 상기 제 1 네트워크로부터의 예측 이미지의 분포를 제한하기 위한 제 4 손실함수에 기반하여 상기 제 1 네트워크와 상기 제 2 네트워크를 학습시킬 수 있다.
또한, 상기 제 1 손실함수는, 상기 제 2 네트워크로부터의 예측 이미지와 상기 원본 이미지의 차이로부터 상기 제 2 네트워크의 자체 손실을 정의할 수 있다.
또한, 상기 제 2 손실함수는, 의사 노이즈 맵(pseudo-noise map) 과 상기 제 1 네트워크로부터의 예측 이미지와의 차이로 정의되되, 상기 의사 노이즈 맵은 상기 원본 이미지와 상기 제 2 네트워크로부터의 예측 이미지의 차이로부터 생성된 것이고, 상기 제 1 네트워크로부터의 예측 이미지는 상기 원본 이미지로부터의 예측 이미지일 수 있다.
또한, 상기 제 3 손실함수는, 상기 제 1 네트워크로부터의 예측 이미지와 상기 제 2 네트워크로부터의 예측 이미지 간의 저주파 특징의 유사도를 높이기 위해, 상기 원본 이미지와 상기 제 1 네트워크로부터의 예측 이미지 사이의 차이 이미지와 상기 제 2 네트워크로부터의 예측 이미지간의 차이값에 기반하여 정의되고, 상기 제 1 네트워크와 상기 제 2 네트워크로부터의 예측 이미지는 동일한 스트라이드 팩터에 따라 다운 샘플링된 이미지로부터의 예측 이미지일 수 있다.
또한, 상기 제 4 손실함수는, 상기 제 1 네트워크로부터의 예측 이미지의 노이즈 분포가 상기 원본 이미지의 노이즈 분포에 가까워지도록, 임계치보다 높은 크기를 갖는 노이즈를 패널라이징(penalizing) 하는 노이즈 선행 손실(noise prior loss)로 정의되는 것이고, 상기 제 1 네트워크로부터의 예측 이미지는 상기 원본 이미지로부터의 예측 이미지일 수 있다.
본 발명의 실시예 중 제 2 측면에 따른 노이즈 제거 방법은, 노이즈를 포함하는 원본 이미지를 수신하는 단계; 상기 원본 이미지에 픽셀 셔플 다운 샘플링(PD, Pixel-shuffle Down-sampling)을 수행하여 적어도 하나 이상의 다운 샘플링된 이미지를 생성하는 단계; 기 원본 이미지와 상기 다운 샘플링된 이미지에서 각각 노이즈를 제거하고, 상기 원본 이미지의 형태를 복원한 적어도 하나 이상의 예측 이미지를 생성하는 단계; 및 상기 예측 이미지와 상기 원본 이미지에 따른 적어도 하나 이상의 손실함수에 기초하여 상기 예측 이미지 생성부를 최적화 학습시키는 단계;를 포함할 수 있다.
또한, 상기 예측 이미지를 생성하는 단계는 제 1 네트워크를 통해 상기 원본 이미지와 상기 다운 샘플링된 이미지에서 노이즈를 제거하는 단계; 제 2 네트워크를 통해 서로 다른 스트라이드 팩터에 따라 생성된 복수의 다운 샘플링된 이미지에서 노이즈를 제거하는 단계; 및 복원부를 통해 상기 제 1 네트워크와 상기 제 2 네트워크로부터의 노이즈가 제거된 이미지에서 상기 원본 이미지의 형태를 복원하여 상기 예측 이미지를 생성하는 단계;를 포함할 수 있다.
또한, 상기 예측 이미지 생성부를 최적화 학습시키는 단계는 상기 제 2 네트워크의 자체 손실을 정의하는 제 1 손실함수와, 상기 제 1 네트워크의 잔여 노이즈 학습(residual noise learning)을 지원하기 위한 제 2 손실함수와, 상기 제 1 네트워크와 상기 제 2 네트워크로부터의 예측 이미지간의 상호 유사도를 높이기 위한 제 3 손실함수와, 상기 제 1 네트워크로부터의 예측 이미지의 분포를 제한하기 위한 제 4 손실함수에 기반하여 상기 제 1 네트워크와 상기 제 2 네트워크를 학습시키는 단계;를 포함할 수 있다.
또한, 상기 제 1 손실함수는, 상기 제 2 네트워크로부터의 예측 이미지와 상기 원본 이미지의 차이로부터 상기 제 2 네트워크의 자체 손실을 정의하는 것일 수 있다.
또한, 상기 제 2 손실함수는, 의사 노이즈 맵(pseudo-noise map) 과 상기 제 1 네트워크로부터의 예측 이미지와의 차이로 정의되되, 상기 의사 노이즈 맵은 상기 원본 이미지와 상기 제 2 네트워크로부터의 예측 이미지의 차이로부터 생성된 것이고, 상기 제 1 네트워크로부터의 예측 이미지는 상기 원본 이미지로부터의 예측 이미지일 수 있다.
또한, 상기 제 3 손실함수는, 상기 제 1 네트워크로부터의 예측 이미지와 상기 제 2 네트워크로부터의 예측 이미지 간의 저주파 특징의 유사도를 높이기 위해, 상기 원본 이미지와 상기 제 1 네트워크로부터의 예측 이미지 사이의 차이 이미지와 상기 제 2 네트워크로부터의 예측 이미지간의 차이값에 기반하여 정의되고, 상기 제 1 네트워크와 상기 제 2 네트워크로부터의 예측 이미지는 동일한 스트라이드 팩터에 따라 다운 샘플링된 이미지로부터의 예측 이미지일 수 있다.
또한, 상기 제 4 손실함수는, 상기 제 1 네트워크로부터의 예측 이미지의 노이즈 분포가 상기 원본 이미지의 노이즈 분포에 가까워지도록, 임계치보다 높은 크기를 갖는 노이즈를 패널라이징(penalizing) 하는 노이즈 선행 손실(noise prior loss)로 정의되는 것이고, 상기 제 1 네트워크로부터의 예측 이미지는 상기 원본 이미지로부터의 예측 이미지일 수 있다.
상술한 본 발명의 일측면에 따르면, 노이즈 영상만을 가지고 노이즈 제거 모델을 학습할 수 있고, 최신 방법에 비해 질감과 같은 고주파 영역의 특성들을 효과적으로 복구하고, 픽셀 단위의 노이즈뿐 아니라 공간적으로 상관관계가 있는 노이즈까지 제거가 가능하다.
도 1은 본 발명의 일 실시예에 따른 노이즈 제거 장치의 개략적인 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 예측 이미지 생성부의 개략적인 구성을 도시한 블록도이다.
도 3 및 4는 본 발명의 일 실시예에 따른 원본 이미지의 데이터를 증강시키는 종래 방법과 본 발명에 따른 방법을 각각 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 예측 이미지 생성부의 학습 과정을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 노이즈 제거 모델의 노이즈 제거 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 노이즈 제거 장치가 학습하는 각 단계를 도시한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 노이즈 제거 성능을 나타내는 도표이다.
도 9는 본 발명의 일 실시예에 따른 노이즈 제거 방법들의 노이즈 제거 결과를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 예측 이미지 생성부의 개략적인 구성을 도시한 블록도이다.
도 3 및 4는 본 발명의 일 실시예에 따른 원본 이미지의 데이터를 증강시키는 종래 방법과 본 발명에 따른 방법을 각각 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 예측 이미지 생성부의 학습 과정을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 노이즈 제거 모델의 노이즈 제거 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 노이즈 제거 장치가 학습하는 각 단계를 도시한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 노이즈 제거 성능을 나타내는 도표이다.
도 9는 본 발명의 일 실시예에 따른 노이즈 제거 방법들의 노이즈 제거 결과를 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 노이즈 제거 장치(100)의 개략적인 구성을 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 예측 이미지 생성부(130)의 개략적인 구성을 도시한 블록도이다.
도 1을 참조하면, 노이즈 제거 장치(100)는 수신부(110), PD부(120), 예측 이미지 생성부(130) 및 학습부(140)를 포함할 수 있다.
실시예에서, 수신부(110)는 노이즈를 포함하는 원본 이미지를 수신할 수 있다. 예를 들어, 본 발명에서의 원본 이미지는 생성된 후 별도의 압축이 가해지지 않았거나 별도의 장치 또는 서버로 전송되지 않은, 즉 손실이 발생하지 않은 이미지를 의미할 수 있다. 노이즈는 원본 이미지에 가해지는 압축에 의해 발생하거나 이미지가 전송됨에 따라 발생하는 이미지 픽셀의 손상된 부분을 의미할 수 있다. 본 발명에서 설명하는 '이미지'는 정지 영상, 또는 동영상을 구성하는 단위 영상(예: 프레임)을 포함하는 개념일 수 있다.
실시예에서, PD부(120)는 원본 이미지에 픽셀 셔플 다운 샘플링(PD, Pixel-shuffle Down-sampling)을 수행하여 적어도 하나 이상의 다운 샘플링된 이미지를 생성할 수 있다.
예를 들어, PD부(120)에서 수행하는 PD는 노이즈를 포함하는 원본 이미지를 하나 이상의 픽셀 셔플된 이미지로 증강시키는 과정으로, 구체적으로는 적어도 하나 이상의 스트라이드 팩터(stride factor)에 따라 원본 이미지로부터 복수의 다운 샘플링된 이미지를 생성하여 원본 이미지의 데이터를 증강시키는 과정을 의미할 수 있다. 이에 대해 도 3 및 4를 참조하여 설명하도록 한다.
도 3 및 4는 본 발명의 일 실시예에 따른 원본 이미지의 데이터를 증강시키는 종래 방법과 본 발명에 따른 방법을 각각 설명하는 도면이다.
도 3 및 4는 각각 스트라이드 팩터(PD2)에 대한 순서-불변 PD 및 순서-변이 PD의 예를 나타낸다.
먼저, 도 3은 원본 이미지의 데이터를 증강시켜 다운 샘플링된 이미지를 생성하는 종래의 P방법을 도시하고 있다.
도 3에 도시된 종래 방법에 따른 PD는, 변환 행렬 I0가 있는 원본 이미지에 대한 PD를 나타낸다.
구체적으로, 도 3에 도시된 종래 방법에 따른 PD는, spatial correlation가 있는 노이즈를 포함하는 원본 이미지에 대해, 손실함수 Ls(self-supervised Loss) 만을 이용해서 PD를 수행하게 된다.
관련하여, 손실함수 Ls는 아래 수학식으로 표현할 수 있다.
(수학식 1에서, x는 노이즈를 포함하는 원본 이미지, f는 BSN, PD5 는 스트라이드 팩터 s(s=5)를 갖는 PD 함수, I0 는 순서-불변 PD에 대한 변환 행렬을 나타낸다.)
종래 방법에 따른 순서-불변 PD는 손실함수 Ls 만을 이용해서 미리 정의된 픽셀 샘플링 순서를 통해 다운 샘플링된 이미지를 생성하기 때문에 제한된 수의 하위 이미지가 생성된다. 예를 들면, 도 3에 도시된 바와 같이 순서-불변 PD는 4Х4 입력 이미지에서 4개의 제한된 수의 2Х2 하위 이미지를 생성할 수 있다.
즉, 종래 방법에 따른 순서-불변 PD는 규칙적으로 픽셀들을 추출하여 다운 샘플링된 이미지를 생성하는 방식으로, spatial correlation가 있는 노이즈를 포함하는 원본 이미지에 대해, 손실함수 Ls(self-supervised Loss) 만을 이용해서 PD를 수행하기 때문에, spatial correlation가 있는 노이즈를 효과적으로 제거하기에 어렵다는 단점이 있다.
이에 반해, 본 발명의 발명에 따른 순서-변이 PD는 불규칙적인 픽셀들에 대해서도 PD를 수행하는 방식이며, 이에 대해서는 도 4를 참조하여 설명하도록 한다.
도 4는 원본 이미지의 데이터를 증강시켜 다운 샘플링된 이미지를 생성하는 본 발명에 따른 방법을 도시한 도면이다.
도 4에 도시된 본 발명의 방법에 따른 PD는, 임의로 불규칙하게 생성된 변환 행렬 I ∈ I를 갖는 순서-변이 PD를 나타낸다.
도 4에 도시된 바와 같이, 본 발명은 다운 샘플링된 이미지의 수를 늘리기 위해 랜덤하게 선택한 변환 행렬 I를 사용하여 샘플링 순서를 셔플시키는, 순서-변이 방식의 PD일 수 있다(여기서, 변환 행렬은 샘플링 순서에 따라 셔플시키는 것일 수 있다). 이에 따르면, 본 발명에 따른 순서-변이 PD에 사용되는 손실함수 Ls는 아래 수학식 2와 같이 변형될 수 있다.
(수학식 2에서, x는 노이즈를 포함하는 원본 이미지, f는 제 2 네트워크(132)인 BSN, I 는 순서-변이 PD에 대한 변환 행렬, PD5 는 스트라이드 팩터 s(s=5)를 갖는 PD 함수를 나타낸다.)
본 발명의 방법에 따른 순서-변이 PD는 불규칙적인 픽셀들에 대해서도 PD를 수행하는 방식으로, 원본 이미지를 복수의 다운 샘플링된 이미지로 분할하는 과정이 수행되기 때문에 노이즈의 spatial correlation이 사라져 노이즈 제거가 매우 쉬워진다는 특징이 있다. 또한, 본 발명의 방법에 따른 PD는 다양한 이미지에 대해서도 수행될 수 있기 때문에 이미지의 종류에 제한적이지 않다는 장점이 있다.
본 발명의 순서-변이 PD에 따른 노이즈 제거 성능을 더욱 높이고 AP-BSN의 시각적 아티팩트를 줄이기 위해 종래에는 R3(Random-Replacing Refinement)라는 후처리 방식이 제안되었다.
R3는 픽셀 별 노이즈(즉, x에서 선택)를 초기 예측 f(x; I0, PD2)로 랜덤하게 대체하여 생성된 여러 합성 노이즈 이미지에서 복원된 이미지의 평균을 나타낸다. 그러나, R3가 반복된 노이즈 제거를 통해 복원된 이미지를 과도하게 매끄럽게 하는 경향이 있어 텍스처 세부 사항이 손실된다. 이에 대한 상세한 설명은 도 6을 참조하여 후술하도록 한다.
다시 도 1을 참조하면, 실시예에서, 예측 이미지 생성부(130)는 원본 이미지와 다운 샘플링된 이미지에서 각각 노이즈를 제거하고, 원본 이미지의 형태를 복원한 적어도 하나 이상의 예측 이미지를 생성할 수 있다. 예측 이미지를 생성하는 예측 이미지 생성부(130)의 구성은 도 2 및 도 5를 참조하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 예측 이미지 생성부(130)의 개략적인 구성을 도시한 블록도이고, 도 5는 본 발명의 일 실시예에 따른 예측 이미지 생성부(130)의 학습 과정을 도시한 도면이다.
도 2 및 도 5를 참조하면, 실시예에 따른 예측 이미지 생성부(130)는 예측 이미지(230)를 생성하기 위한 제 1 네트워크(131), 제 2 네트워크(132) 및 복원부(133)를 포함할 수 있다. 구체적으로, 제 1 네트워크(131)는 원본 이미지(210)와 다운 샘플링된 이미지(220)에서 노이즈를 제거하고, 제 2 네트워크(132)는 서로 다른 스트라이드 팩터에 따라 생성된 복수의 다운 샘플링된 이미지(220)에서 노이즈를 제거하고, 복원부(133)는 도 5의 Forward 단계에 도시된 바와 같이 제 1 네트워크(131)와 제 2 네트워크(132)로부터의 노이즈가 제거된 이미지에서 원본 이미지(210)의 형태를 복원하여 예측 이미지(230)를 생성할 수 있다.
한편, 제 2 네트워크(132)는 최신 네트워크와 달리 네트워크의 구조가 한정되어 있어, 입력 및 출력의 픽셀 형태가 독립적이어야 하는 특정 조건을 만족해야 네트워크를 사용 가능하다는 특징이 있다.
반면, 제 1 네트워크(131)는 그러한 특정 조건을 만족하지 않더라도 네트워크 학습을 사용할 수 있고, PD 과정 또한 생략이 가능하여 노이즈 학습 성능이 향상될 수 있다. 학습 과정에서 PD 과정이 생략되는 경우, 노이즈 제거 과정에서 또한 PD 과정이 생략이 가능하여 결과적으로 노이즈 제거 성능이 향상될 수 있다.
또한, 예측 이미지(230)는 제 1 네트워크(131)에 의해 원본 이미지(210)에서 노이즈가 제거되어 생성되는 제 1 예측 이미지(231), 다운 샘플링된 이미지(220)에서 제 1 네트워크(131)에 의해 노이즈가 제거되어 생성되는 제 2 예측 이미지(232), 서로 다른 스트라이드 팩터에 따라 생성된 복수의 다운 샘플링된 이미지(220)에서 제 2 네트워크(132)에 의해 노이즈가 제거되어 생성되는 제 3 예측 이미지(233) 및 제 4 예측 이미지(234)를 포함할 수 있다.
구체적으로, 제 1 예측 이미지(231)는 순서-변이 PD 과정이 수행되지 않고 제 1 네트워크(131)에 의해 원본 이미지(210)에서 검출된 노이즈가 제거되어 생성되는 이미지일 수 있다. 제 2 예측 이미지(232)는 스트라이드 팩터 PD5에 따라 생성된 다운 샘플링된 이미지(220)에서 제 1 네트워크(131)에 의해 검출된 PD5 노이즈가 제거되어 생성되는 이미지일 수 있다. 제 3 예측 이미지(233)는 스트라이드 팩터 PD5에 따라 생성된 다운 샘플링된 이미지(220)에서 제 2 네트워크(132)에 의해 검출된 PD5 노이즈가 제거되어 생성되는 이미지일 수 있다. 제 4 예측 이미지(234)는 스트라이드 팩터 PD2에 따라 생성된 다운 샘플링된 이미지(220)에서 제 2 네트워크(132)에 의해 검출된 PD2 노이즈가 제거되어 생성되는 이미지일 수 있다.
즉, 제 1 예측 이미지(231)는 PD가 수행되지 않은 원본 이미지(210)에 대해 제 1 네트워크(131)에 의해 노이즈가 제거되고, 원본 이미지(210)의 형태로 복원(도 5의 "PDs -1(·,·)")된 이미지일 수 있다. 제 2 내지 제 4 예측 이미지(234)는, 원본 이미지(210)에 PD(도 5의 "PDs(x,·)")가 수행되어 제 1 및 제 2 네트워크(132)에 의해 노이즈가 제거되고, 원본 이미지(210)의 형태로 복원(도 5의 "PDs -1(·,·)")된 이미지일 수 있다. 제 1 내지 제 4 예측 이미지(234)는 도 5의 Forward 단계에 도시된 형태로 생성될 수 있다.
실시예에서, 도 1 및 도 5를 참조하면 학습부(140)는 예측 이미지(230)와 원본 이미지(210)에 따른 적어도 하나 이상의 손실함수에 기초하여 예측 이미지 생성부(130)를 최적화 학습시킬 수 있다.
구체적으로, 학습부(140)는 제 2 네트워크(132)의 자체 손실을 정의하는 제 1 손실함수와, 제 1 네트워크(131)의 잔여 노이즈 학습(residual noise learning)을 지원하기 위한 제 2 손실함수와, 제 1 네트워크(131)와 상기 제 2 네트워크(132)로부터의 예측 이미지(230)간의 상호 유사도를 높이기 위한 제 3 손실함수와, 제 1 네트워크(131)로부터의 예측 이미지(230)의 분포를 제한하기 위한 제 4 손실함수에 기반하여 제 1 네트워크(131)와 제 2 네트워크(132)를 학습시킬 수 있다.
관련하여 제 1 손실함수(Ls)는, 제 2 네트워크(132)로부터의 예측 이미지(230)인 제 3 예측 이미지(233)와 원본 이미지(210)의 차이로부터 제 2 네트워크(132)의 자체 손실을 정의하는 함수일 수 있다. 제 1 손실함수가 제 1 네트워크(131)의 잔여 노이즈 학습에 사용되는 경우 별도의 노이즈 영상 없이 자체적으로 생성하는 노이즈 영상 만으로 노이즈 학습이 가능하도록 지원할 수 있다. 여기서, 제 1 손실함수는 상기 수학식 2와 같이 정의될 수 있다. 즉, 제 1 손실함수는 본 발명의 PD 과정에서 사용되는 손실함수 Ls와 동일한 함수일 수 있다.
제 2 손실함수(Lr)는, 의사 노이즈 맵(pseudo-noise map)과 제 1 네트워크(131)로부터의 예측 이미지(230)인 제 1 예측 이미지(231)와의 차이로 정의될 수 있다. 여기서, 의사 노이즈 맵은 원본 이미지(210)와 제 2 네트워크(132)로부터 생성된 예측 이미지(230)인 제 4 예측 이미지(234)의 차이로부터 생성될 수 있다. 제 2 손실함수는 아래의 수학식 3과 같이 정의될 수 있다.
(수학식 3에서, x는 원본 이미지(210), 는 의사 노이즈 맵, 는 제 1 예측 이미지(231)를 나타낸다.)
제 2 손실함수는, PD5 과정에서의 과도한 다운 샘플링으로 인한 학습-추론 데이터 분포 불일치 및 블러링 아티팩트 문제를 해결할 수 있다. 여기서 주요한 점은, PD2 다운 샘플링된 이미지(220)가 학습 단계에서 사용되는 경우 실제 노이즈 제거 단계에서도 사용되어야 한다는 점이다.
제 2 손실함수에서, I0를 갖는 순서-불변 PD는 제 1 네트워크(131)에 대한 앨리어싱 아티팩트를 최소화하는 데 사용 가능한 이점이 있다. 의사 노이즈 맵은 공간적으로 상관된 실제 잡음과 다운 샘플링으로 인한 앨리어싱 아티팩트를 고려할 수 있다. 본 발명에 따르면, 의사 노이즈 맵은 제 1 네트워크(131)의 예측 이미지(230) 생성에 비해 텍스처 복원 품질이 더 향상된 것을 확인하였다.
또 다른 이점은 PD5만을 사용하여 학습하는 종래의 네트워크와 달리 학습을 위한 데이터인 원본 이미지(210)가 고해상도 노이즈 이미지로만 구성될 수 있다. 또한 제 1 네트워크(131)의 네트워크 구조에는 J-invariant 특성이 필요하지 않다. 따라서 모든 최신 이미지 복원 네트워크 아키텍처를 제 1 네트워크(131)에 사용할 수 있다.
제 3 손실함수(Lov)는, 제 1 네트워크(131)로부터의 예측 이미지(230)와 제 2 네트워크(132)로부터의 예측 이미지(230) 간의 저주파 특징의 유사도를 높이기 위해, 원본 이미지(210)와 제 1 네트워크(131)로부터의 예측 이미지(230) 사이의 차이 이미지와, 제 2 네트워크(132)로부터의 예측 이미지(230)간의 차이값에 기반하여 다음 수학식 4와 같이 정의될 수 있다. 여기서, 제 1 네트워크(131)로부터의 예측 이미지(230)는 제 2 예측 이미지(232)이고, 제 2 네트워크(132)로부터의 예측 이미지(230)는 제 3 예측 이미지(233)일 수 있다. 또한, 제 2 예측 이미지(232)와, 제 3 예측 이미지(233)는 동일한 스트라이드 팩터(PD5)에 따라 다운 샘플링된 이미지(220)로부터의 예측 이미지(230)일 수 있다.
(수학식 4에서, x는 노이즈를 포함하는 원본 이미지(210), f는 제 2 네트워크(132)인 BSN, I 및 I'는 순서-변이 PD에 대한 변환 행렬, PD5 는 스트라이드 팩터 s(s=5)를 갖는 PD 함수, h는 제 1 네트워크(131)인 Noise Extractor h을 나타내고, 는 제 3 예측 이미지(233), 는 제 2 예측 이미지(232)를 나타낸다.)
제 4 손실함수(Lnp)는, 제 1 네트워크(131)로부터의 예측 이미지(230)의 노이즈 분포가 원본 이미지(210)의 노이즈 분포에 가까워지도록, 임계치보다 높은 크기를 갖는 노이즈를 패널라이징(penalizing) 하는 노이즈 선행 손실(noise prior loss)로 다음 수학식 5와 같이 정의될 수 있다. 여기서, 제 1 네트워크(131)로부터의 예측 이미지(230)는 제 1 예측 이미지(231)일 수 있다.
(수학식 5에서, x는 노이즈를 포함하는 원본 이미지(210), 는 제 1 예측 이미지(231)를 나타낸다.)
제안된 제 1 네트워크(131)(Noise Extractor h)는 데이터 분포를 일치시켜 노이즈 제거 품질을 향상시키지만, 특히 텍스처가 풍부한 이미지에서 텍스처 세부 사항 및 색상 변화가 일부 손실된다. 제 1 네트워크(131)가 제 2 손실함수의 실제 노이즈뿐만 아니라 PD2의 앨리어싱 아티팩트를 과대적합하기 때문이다. 이러한 앨리어싱 아티팩트는 텍스처 세부 사항에 기여하며 그 크기는 실제 노이즈보다 크다고 볼 수 있다.
이에, 텍스처 세부 사항을 더욱 개선하기 위해 제 4 손실함수가 제안될 수 있다. 제 4 손실함수는 L1 regularization term을 사용하여 제 1 네트워크(131)로부터 생성되는 제 1 예측 이미지(231)의 분포를 제한(즉, 높은 크기의 노이즈에 페널티를 부여하는)할 수 있다. 이 L1 regularization term은 미니 배치 및 색상 축을 따라 평균의 픽셀별 절대값을 취하여 제 2 손실함수의 의사 노이즈 맵의 이상값을 효과적으로 억제할 수 있다.
결과적으로, 제 1 네트워크(131)와 제 2 네트워크(132)에 대한 총 손실함수는 다음 수학식 6과 같이 정의될 수 있다.
(수학식 6에서, 하이퍼 파라미터 s, r, ov 및 np는 제 1 내지 제 4 손실함수의 기여 가중치를 나타낸다.)
학습부(140)는 제 1 내지 제 4 손실함수에 기초하여 제 1 네트워크(131)와 제 2 네트워크(132)를 학습시킬 수 있다.
예를 들면, 학습부(140)는 제 3 예측 이미지(233) 및 원본 이미지(210)에 제 1 손실함수를 적용하고, 제 4 예측 이미지(234), 원본 이미지(210) 및 제 1 예측 이미지(231) 간의 차이값에 제 2 손실함수를 적용하고, 제 3 예측 이미지(233) 및 의사 노이즈 맵에 제 3 손실함수를 적용하고, 제 1 예측 이미지(231)에 제 4 손실함수를 적용하여 제 1 네트워크(131) 및 제 2 네트워크(132)를 학습시킴으로써 노이즈 제거 모델을 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 예측 이미지 생성부(130)의 학습 과정을 도시한 도면이다.
도 5를 참조하면, 노이즈 제거 장치(100)는 원본 이미지(210)에 픽셀 셔플 다운 샘플링(PD2 또는 PD5)를 수행하여 적어도 하나 이상의 다운 샘플링된 이미지(220)를 생성할 수 있다.
노이즈 제거 장치(100)는, 예측 이미지 생성부(130)를 통해 도 5에 도시된 Fordward 과정과 같이 예측 이미지 생성부(130)의 제 1 네트워크(131) 및 제 2 네트워크(132)를 이용하여 원본 이미지(210)와 다운 샘플링된 이미지(220)에서 각각 노이즈를 제거하고, 원본 이미지(210)의 형태를 복원한 적어도 하나 이상의 예측 이미지(230)를 생성할 수 있다. 원본 이미지(210)의 형태를 복원하는 과정은, 픽셀 셔플 다운 샘플링에 따라 노이즈가 제거된 이미지를 다시 원본 이미지(210)의 형태로 복원하는, 도 5에 도시된 PDS -1(·,·) 과정을 나타낼 수 있다.
노이즈 제거 장치(100)는 학습부(140)를 통해, 도 5에 도시된 Backward 과정과 같이 제 1 손실함수 내지 제 4 손실함수 및 제 1 예측 이미지(231) 내지 제 4 예측 이미지(234)와 원본 이미지(210)에 기초하여 예측 이미지 생성부(130)의 제 1 네트워크(131) 및 제 2 네트워크(132)를 최적화 학습시킬 수 있다.
도 5에 도시된 Backward의 학습 과정에 따라 전체 손실을 최소화하도록 제 1 네트워크(131) 및 제 2 네트워크(132)를 학습한 후, 제 1 네트워크(131) 및 제 2 네트워크(132)의 구조적 한계로 인해 기준선 학습 결과에 일부 시각적 아티팩트가 남아 있을 수 있다. 이에, 도 5에 도시된 노이즈 제거 과정이 수행될 수 있다.
도 6은 본 발명의 일 실시예에 따른 노이즈 제거 모델(310)의 노이즈 제거 과정을 도시한 도면이다.
종래 기술인 AP-BSN에서 제안한 R3(Random-Replacing Refinement) 기법은 시각적 아티팩트를 완화하는 기법이다. 그러나, 다양한 노이즈 샘플에 대한 다중 예측을 평균화하면 콘텐츠 유사성이 증가하고 텍스처 세부 정보가 감소한다. 또한 R3의 기준선은 텍스처 세부 사항이 PD2 다운 샘플링에 의해 저하된다는 초기 예측에 의존한다. 본 발명에서는, 이러한 R3의 단점을 해결하기 위해 도 5에 도시된 노이즈 제거 모델(310)인 PR3(Progressively Random-Replacing Refinement)가 제안될 수 있다.
도 6을 참조하면, 본 발명에서 노이즈 제거 모델과 BSN(131)과의 예측 결과를 앙상블 하는 기초추론 모델인 Baseline과, 본 발명에 따른 노이즈 제거 모델(132)과 BSN(131)에 사용되는 PR3 방식이 도시되어 있다.
종래 방식의 경우, 노이즈 제거 과정에서도 별도의 PD2 과정이 수행되기 때문에 노이즈 제거에 따른 리소스의 증가와 함께 결과물의 품질이 좋지 못한 반면, 본 발명에 따른 노이즈 제거 모델(310)의 PR3의 경우 이미 PD 과정을 거친 이미지들을 사용하기 때문에 별도의 PD 과정을 생략 가능하여 Random Replacing 과정에서의 출력물의 텍스트가 뭉개지지 않아 출력물의 높은 품질을 보장할 수 있고, 제 2 네트워크(132)로부터 도출되는 이미지의 Structure artefact를 효과적으로 제거할 수 있다.
도 6을 참조하면, 노이즈 제거 모델(310)이 노이즈를 포함하는 원본 이미지(210)의 노이즈를 제거하는 과정이 도시되어 있다.
구체적으로, 노이즈 제거 모델(310)은 노이즈를 포함하는 원본 이미지(210) x가 제 1 네트워크(131)에 입력되면, 제 1 네트워크(131)를 통해 원본 이미지(210)에서 제 1 예측 이미지를 제거하고, 원본 이미지(210)의 형태를 복원한 도 5의 x-h(x) 이미지인 p1을 Random-Replacing 기법을 통해 생성할 수 있다.
이후, 노이즈 제거 모델(310)은 생성된 p1을 제 2 네트워크(132)에 입력하여 노이즈 제거 및 Random-Replacing을 수행하여 p2를 생성하고, 생성된 p2를 제 1 네트워크(131)에 입력할 수 있다. 마지막으로, 노이즈 제거 모델(310)은 제 1 네트워크(131)를 통해 p2에 대한 노이즈를 검출하여 제거하고, 노이즈가 제거된 p2와 x-h(x) 이미지 간의 Average를 수행하여 최종적으로 노이즈를 제거할 수 있다.
도 7은 본 발명의 일 실시예에 따른 노이즈 제거 장치(100)가 학습하는 각 단계를 도시한 흐름도이다.
본 발명의 일 실시예에 따른 노이즈 제거 방법은 도 1에 도시된 노이즈 제거 장치(100) 및 도 2에 예측 이미지 생성부(130)와 실질적으로 동일한 구성 상에서 진행되므로, 도 1 및 도 2와 동일한 구성요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.
본 발명의 노이즈 제거 방법은, 노이즈를 포함하는 원본 이미지를 수신하는 단계(S10), 원본 이미지에 픽셀 셔플 다운 샘플링을 수행하여 적어도 하나 이상의 다운 샘플링된 이미지를 생성하는 단계(S20), 원본 이미지와 다운 샘플링된 이미지에서 각각 노이즈를 제거하고, 원본 이미지의 형태를 복원한 적어도 하나 이상의 예측 이미지를 생성하는 단계(S30) 및 예측 이미지와 원본 이미지에 따른 적어도 하나 이상의 손실함수에 기초하여 예측 이미지 생성부(130)를 최적화 학습하는 단계(S40)를 포함할 수 있다.
노이즈를 포함하는 원본 이미지를 수신하는 단계(S10)는 외부 서버 또는 디바이스로부터 노이즈를 포함하는 원본 이미지가 수신되는 단계를 포함할 수 있다.
원본 이미지에 픽셀 셔플 다운 샘플링을 수행하여 적어도 하나 이상의 다운 샘플링된 이미지를 생성하는 단계(S20)는 적어도 하나 이상의 스트라이드 팩터(stride factor)에 따라 원본 이미지로부터 복수의 상기 다운 샘플링된 이미지를 생성하는 단계를 포함할 수 있다.
원본 이미지와 다운 샘플링된 이미지에서 각각 노이즈를 제거하고, 원본 이미지의 형태를 복원한 적어도 하나 이상의 예측 이미지를 생성하는 단계(S30)는 제 1 네트워크(131)를 통해 원본 이미지와 다운 샘플링된 이미지에서 노이즈를 제거하는 단계, 제 2 네트워크(132)를 통해 서로 다른 스트라이드 팩터에 따라 생성된 복수의 다운 샘플링된 이미지에서 노이즈를 제거하는 단계 및 복원부(133)를 통해 제 1 네트워크(131)와 제 2 네트워크(132)로부터의 노이즈가 제거된 이미지에서 원본 이미지의 형태를 복원하여 예측 이미지를 생성하는 단계를 포함할 수 있다.
예측 이미지와 원본 이미지에 따른 적어도 하나 이상의 손실함수에 기초하여 예측 이미지 생성부(130)를 최적화 학습하는 단계(S40)는 제 2 네트워크(132)의 자체 손실을 정의하는 제 1 손실함수와, 제 1 네트워크(131)의 잔여 노이즈 학습(residual noise learning)을 지원하기 위한 제 2 손실함수와, 제 1 네트워크(131)와 제 2 네트워크(132)로부터의 예측 이미지간의 상호 유사도를 높이기 위한 제 3 손실함수와, 제 1 네트워크(131)로부터의 예측 이미지의 분포를 제한하기 위한 제 4 손실함수에 기반하여 제 1 네트워크(131)와 제 2 네트워크(132)를 학습시키는 단계를 포함할 수 있다.
도 8은 본 발명의 일 실시예에 따른 노이즈 제거 성능을 나타내는 도표이고, 도 9는 본 발명의 일 실시예에 따른 노이즈 제거 방법들의 노이즈 제거 결과를 나타내는 도면이다.
도 8은 SIDD 검증 데이터 세트에 대한 손실 함수의 절제 연구 결과를 도시한 도표이다. 도 8을 참조하면, 각 열에는 해당 손실 함수가 없는 결과가 표시되고, 최고와 차선은 밑줄이 그어져 있고 최고 결과는 굵게 표시되어 있다.
도 8에서 제 2 손실함수(Lr)을 생략하면 제 3 손실함수(Lov)를 통한 콘텐츠 정보 유지 외에는 제 2 네트워크(BSN f)에서 상세 정보 기반 학습이 없기 때문에 전체적인 성능 저하를 보인다.
제 3 손실함수(Lov)를 생략하면 PSNR 및 SSIM의 성능이 향상되는 반면 LPIPS 및 DISTS에서는 최소한의 성능 저하가 관찰된다.
이는 제 3 손실함수(Lov)가 콘텐츠 유사성을 촉진하고 텍스처 복원 성능 향상 대신 더 높은 PSNR 및 SSIM으로 이어지기 때문이다.
제 4 손실함수(Lnp)를 생략하면, 손실 이전에 잡음이 없으면 제 2 네트워크(BSN f)의 의사 노이즈 맵에 과적합이 발생하여 LPIPS 및 DISTS 결과가 AP-BSN의 결과에 가까워진다. 즉, 제 4 손실함수(Lnp)는 의사 노이즈 맵에서 제 1 네트워크(Noise Extractor h)가 앨리어싱 아티팩트를 학습하는 것을 방지하여 텍스처 변형을 성공적으로 줄일 수 있다.
추가적으로, 제 1 손실함수(Ls)와 제 3 손실함수(Lov)에서 order-variant PD 프로세스를 order-invariant PD(PDs(·,I0))로 대체하면 전체적인 성능이 저하된다.
도 8에 도시된 본 연구 결과에 따르면, 본 발명의 예측 이미지 생성부의 최적화 학습 과정인 I2V와 기본 학습 과정을 사용했을 때 각 손실함수가 제외 되는 경우에 성능이 부분적으로 떨어지는 현상이 나타나지만, 모든 손실함수를 다 사용했을 때 전체적으로 높은 성능을 보이는 것을 확인할 수 있다.
도 9는 본 발명의 일 실시예에 따른 노이즈 제거 방법들의 노이즈 제거 결과를 나타내는 도면이다.
도 9와 관련된 실험에서, I2V의 폭넓은 적응을 위해 외부 교육 데이터 세트 없이 완전 자가 지도 방식으로 노이즈 제거 실험을 구성하였다. 이 실험에서는 타겟 노이즈 이미지만 사용할 수 있다고 가정한다.
지도 학습 접근 방식과 짝을 이루지 않은 이미지 노이즈 제거 방법의 경우, SIDD-Medium 데이터 세트를 사용하여 노이즈 제거기가(예: 제 1 네트워크 또는 제 2 네트워크) 전체 이미지의 실제 애플리케이션 시나리오를 가정하도록 자기 지도 방법을 학습한다.
본 발명에 따른 자가 지도 학습 기반 방법은 딥 러닝 모델을 교육하기 위해 대상 노이즈 이미지를 직접 사용한다. 그렇지 않으면 지도된 노이즈 제거 또는 페어링되지 않은 이미지 노이즈 제거 방법은 다른 데이터 세트에 속하는 깨끗하고 노이즈가 많은 이미지로 학습될 수 있다. 서로 다른 데이터 세트는 대상 노이즈 이미지와 비교하여 텍스처 또는 구조 정보가 다를 수 있다. 본 발명에 따른 방법이 지도 학습 접근 방식과 비교하여 LPIPS 및 DISTS에서 유사하거나 더 나은 성능을 보이는 이유로 볼 수 있다.
도 9를 참조하면, Restormer는 지도학습 기반 노이즈 제거 방법이고, C2N은 쌍을 이루지 않는 깨끗한 영상의 데이터가 필요한 unpaired 영상 노이즈 제거 방법이고, AP-BSN과 I2V는 노이즈 영상만을 사용한 방법이다. 아래 숫자의 경우 왼쪽부터 PSNR/SSIM/LPIPS/DISTS에 대한 성능을 나타낸다.
도 9에서 볼 수 있듯이, 본 발명에 따른 I2V는 모든 메트릭에 대한 최첨단 자체 지도 노이즈 제거 방법 중 그 효과적 측면에서 가장 높은 효능을 보여주었다. 또한, 가장 최신 방법인 AP-BSN과 비교해서 훨씬 좋은 질감과 좋은 LPIPS 와 DISTS를 얻을 수 있다.
이와 같은 본 발명의 노이즈 제거 방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 본 발명의 다양한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 노이즈 제거 장치
110: 수신부
120: PD부
130: 예측 이미지 생성부
131: 제 1 네트워크
132: 제 2 네트워크
133: 복원부
140: 학습부
210: 원본 이미지
220: 다운 샘플링된 이미지
230: 예측 이미지
231: 제 1 예측 이미지
232: 제 2 예측 이미지
233: 제 3 예측 이미지
234: 제 4 예측 이미지
310: 노이즈 제거 모델
110: 수신부
120: PD부
130: 예측 이미지 생성부
131: 제 1 네트워크
132: 제 2 네트워크
133: 복원부
140: 학습부
210: 원본 이미지
220: 다운 샘플링된 이미지
230: 예측 이미지
231: 제 1 예측 이미지
232: 제 2 예측 이미지
233: 제 3 예측 이미지
234: 제 4 예측 이미지
310: 노이즈 제거 모델
Claims (16)
- 노이즈를 포함하는 원본 이미지를 수신하는 수신부;
상기 원본 이미지에 픽셀 셔플 다운 샘플링(PD, Pixel-shuffle Down-sampling)을 수행하여 적어도 하나 이상의 다운 샘플링된 이미지를 생성하는 PD부;
상기 원본 이미지와 상기 다운 샘플링된 이미지에서 각각 노이즈를 제거하고, 상기 원본 이미지의 형태를 복원한 적어도 하나 이상의 예측 이미지를 생성하는 예측 이미지 생성부; 및
상기 예측 이미지와 상기 원본 이미지에 따른 적어도 하나 이상의 손실함수에 기초하여 상기 예측 이미지 생성부를 최적화 학습시키는 학습부를 포함하고,
상기 예측 이미지 생성부는
상기 원본 이미지와 상기 다운 샘플링된 이미지에서 노이즈를 제거하는 제 1 네트워크와,
서로 다른 스트라이드 팩터에 따라 생성된 복수의 다운 샘플링된 이미지에서 노이즈를 제거하는 제 2 네트워크와,
상기 제 1 네트워크와 상기 제 2 네트워크로부터의 노이즈가 제거된 이미지에서 상기 원본 이미지의 형태를 복원하여 상기 예측 이미지를 생성하는 복원부를 포함하는, 노이즈 제거 장치.
- 제 1 항에 있어서,
상기 PD부는,
적어도 하나 이상의 스트라이드 팩터(stride factor)에 따라 상기 원본 이미지로부터 복수의 상기 다운 샘플링된 이미지를 생성하여 상기 원본이미지의 데이터를 증강시키는 것인, 노이즈 제거 장치.
- 제 2 항에 있어서,
상기 PD부는,
랜덤하게 선택된 변환 행렬을 이용하는 순서-변이 PD(order-variant PD)를 수행하고,
상기 변환 행렬은 샘플링 순서에 따라 셔플시키는 것인, 노이즈 제거 장치.
- 삭제
- 제 1 항에 있어서,
상기 학습부는,
상기 제 2 네트워크의 자체 손실을 정의하는 제 1 손실함수와,
상기 제 1 네트워크의 잔여 노이즈 학습(residual noise learning)을 지원하기 위한 제 2 손실함수와,
상기 제 1 네트워크와 상기 제 2 네트워크로부터의 예측 이미지간의 상호 유사도를 높이기 위한 제 3 손실함수와,
상기 제 1 네트워크로부터의 예측 이미지의 분포를 제한하기 위한 제 4 손실함수에 기반하여
상기 제 1 네트워크와 상기 제 2 네트워크를 학습시키는 것인, 노이즈 제거 장치.
- 제 5 항에 있어서,
상기 제 1 손실함수는,
상기 제 2 네트워크로부터의 예측 이미지와 상기 원본 이미지의 차이로부터 상기 제 2 네트워크의 자체 손실을 정의하는 것인, 노이즈 제거 장치.
- 제 5 항에 있어서,
상기 제 2 손실함수는,
의사 노이즈 맵(pseudo-noise map) 과 상기 제 1 네트워크로부터의 예측 이미지와의 차이로 정의되되,
상기 의사 노이즈 맵은 상기 원본 이미지와 상기 제 2 네트워크로부터의 예측 이미지의 차이로부터 생성된 것이고,
상기 제 1 네트워크로부터의 예측 이미지는 상기 원본 이미지로부터의 예측 이미지인, 노이즈 제거 장치.
- 제 5 항에 있어서,
상기 제 3 손실함수는,
상기 제 1 네트워크로부터의 예측 이미지와 상기 제 2 네트워크로부터의 예측 이미지 간의 저주파 특징의 유사도를 높이기 위해,
상기 원본 이미지와 상기 제 1 네트워크로부터의 예측 이미지 사이의 차이 이미지와 상기 제 2 네트워크로부터의 예측 이미지간의 차이값에 기반하여 정의되고,
상기 제 1 네트워크와 상기 제 2 네트워크로부터의 예측 이미지는 동일한 스트라이드 팩터에 따라 다운 샘플링된 이미지로부터의 예측 이미지인, 노이즈 제거 장치.
- 제 5 항에 있어서,
상기 제 4 손실함수는,
상기 제 1 네트워크로부터의 예측 이미지의 노이즈 분포가 상기 원본 이미지의 노이즈 분포에 가까워지도록, 임계치보다 높은 크기를 갖는 노이즈를 패널라이징(penalizing) 하는 노이즈 선행 손실(noise prior loss)로 정의되는 것이고,
상기 제 1 네트워크로부터의 예측 이미지는 상기 원본 이미지로부터의 예측 이미지인, 노이즈 제거 장치.
- 노이즈를 포함하는 원본 이미지를 수신하는 단계;
상기 원본 이미지에 픽셀 셔플 다운 샘플링(PD, Pixel-shuffle Down-sampling)을 수행하여 적어도 하나 이상의 다운 샘플링된 이미지를 생성하는 단계;
상기 원본 이미지와 상기 다운 샘플링된 이미지에서 각각 노이즈를 제거하고, 상기 원본 이미지의 형태를 복원한 적어도 하나 이상의 예측 이미지를 생성하는 단계; 및
상기 예측 이미지와 상기 원본 이미지에 따른 적어도 하나 이상의 손실함수에 기초하여 상기 예측 이미지 생성부를 최적화 학습시키는 단계;를 포함하고,
상기 예측 이미지를 생성하는 단계는
제 1 네트워크를 통해 상기 원본 이미지와 상기 다운 샘플링된 이미지에서 노이즈를 제거하는 단계;
제 2 네트워크를 통해 서로 다른 스트라이드 팩터에 따라 생성된 복수의 다운 샘플링된 이미지에서 노이즈를 제거하는 단계; 및
복원부를 통해 상기 제 1 네트워크와 상기 제 2 네트워크로부터의 노이즈가 제거된 이미지에서 상기 원본 이미지의 형태를 복원하여 상기 예측 이미지를 생성하는 단계;를 포함하는, 노이즈 제거 방법.
- 삭제
- 제 10 항에 있어서,
상기 예측 이미지 생성부를 최적화 학습시키는 단계는
상기 제 2 네트워크의 자체 손실을 정의하는 제 1 손실함수와,
상기 제 1 네트워크의 잔여 노이즈 학습(residual noise learning)을 지원하기 위한 제 2 손실함수와,
상기 제 1 네트워크와 상기 제 2 네트워크로부터의 예측 이미지간의 상호 유사도를 높이기 위한 제 3 손실함수와,
상기 제 1 네트워크로부터의 예측 이미지의 분포를 제한하기 위한 제 4 손실함수에 기반하여
상기 제 1 네트워크와 상기 제 2 네트워크를 학습시키는 단계;를 포함하는, 노이즈 제거 방법.
- 제 12 항에 있어서,
상기 제 1 손실함수는,
상기 제 2 네트워크로부터의 예측 이미지와 상기 원본 이미지의 차이로부터 상기 제 2 네트워크의 자체 손실을 정의하는 것인, 노이즈 제거 방법.
- 제 12 항에 있어서,
상기 제 2 손실함수는,
의사 노이즈 맵(pseudo-noise map) 과 상기 제 1 네트워크로부터의 예측 이미지와의 차이로 정의되되,
상기 의사 노이즈 맵은 상기 원본 이미지와 상기 제 2 네트워크로부터의 예측 이미지의 차이로부터 생성된 것이고,
상기 제 1 네트워크로부터의 예측 이미지는 상기 원본 이미지로부터의 예측 이미지인, 노이즈 제거 방법.
- 제 12 항에 있어서,
상기 제 3 손실함수는,
상기 제 1 네트워크로부터의 예측 이미지와 상기 제 2 네트워크로부터의 예측 이미지 간의 저주파 특징의 유사도를 높이기 위해,
상기 원본 이미지와 상기 제 1 네트워크로부터의 예측 이미지 사이의 차이 이미지와 상기 제 2 네트워크로부터의 예측 이미지간의 차이값에 기반하여 정의되고,
상기 제 1 네트워크와 상기 제 2 네트워크로부터의 예측 이미지는 동일한 스트라이드 팩터에 따라 다운 샘플링된 이미지로부터의 예측 이미지인, 노이즈 제거 방법.
- 제 12 항에 있어서,
상기 제 4 손실함수는,
상기 제 1 네트워크로부터의 예측 이미지의 노이즈 분포가 상기 원본 이미지의 노이즈 분포에 가까워지도록, 임계치보다 높은 크기를 갖는 노이즈를 패널라이징(penalizing) 하는 노이즈 선행 손실(noise prior loss)로 정의되는 것이고,
상기 제 1 네트워크로부터의 예측 이미지는 상기 원본 이미지로부터의 예측 이미지인, 노이즈 제거 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023146078A JP2024085374A (ja) | 2022-12-14 | 2023-09-08 | テクスチャーの保存のための自己残差学習に基づく自己監督型ブラインド雑音装置及び方法 |
| EP23198925.2A EP4386660A1 (en) | 2022-12-14 | 2023-09-21 | Device and method for texture-aware self-supervised blind denoising using self-residual learning |
| US18/372,397 US20240202883A1 (en) | 2022-12-14 | 2023-09-25 | Device and method for texture-aware self-supervised blind denoising using self-residual learning |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220174325 | 2022-12-14 | ||
| KR1020220174325 | 2022-12-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102664214B1 true KR102664214B1 (ko) | 2024-05-10 |
Family
ID=91072147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230033553A KR102664214B1 (ko) | 2022-12-14 | 2023-03-14 | 질감 보존을 위한 자가-잔차 학습 기반 자가 감독 노이즈 제거 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102664214B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200058440A (ko) * | 2017-10-11 | 2020-05-27 | 퀄컴 인코포레이티드 | 이미지들을 프로세싱하기 위한 이미지 신호 프로세서 |
| US20210360179A1 (en) * | 2020-05-13 | 2021-11-18 | Qualcomm Incorporated | Machine learning based image adjustment |
| KR20220167824A (ko) | 2021-06-14 | 2022-12-22 | 크레플 주식회사 | 인공지능 기반의 노이즈 제거에 따른 이미지 구축을 통한 불량 검출 시스템 및 방법 |
-
2023
- 2023-03-14 KR KR1020230033553A patent/KR102664214B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200058440A (ko) * | 2017-10-11 | 2020-05-27 | 퀄컴 인코포레이티드 | 이미지들을 프로세싱하기 위한 이미지 신호 프로세서 |
| US20210360179A1 (en) * | 2020-05-13 | 2021-11-18 | Qualcomm Incorporated | Machine learning based image adjustment |
| KR20220167824A (ko) | 2021-06-14 | 2022-12-22 | 크레플 주식회사 | 인공지능 기반의 노이즈 제거에 따른 이미지 구축을 통한 불량 검출 시스템 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| Wooseok Lee et al., AP-BSN: Self-Supervised Denoising for Real-World Images via Asymmetric PD and Blind-Spot Network, CVPR, pages 17725-17734, 19-24 June 2022(2022.06.19.) 1부.* * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102620105B1 (ko) | 잡음 있는 이미지들을 업스케일링하기 위한 방법, 및 잡음 있는 이미지들을 업스케일링하기 위한 장치 | |
| JP5132198B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| KR101265956B1 (ko) | 블록 기반의 영상 복원 시스템 및 방법 | |
| JP5027757B2 (ja) | 動画像雑音除去装置、その方法およびそのプログラム | |
| CN112419184A (zh) | 一种综合局部信息和全局信息的空间注意力图像去噪方法 | |
| KR20160029668A (ko) | 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치 | |
| JP2024085374A (ja) | テクスチャーの保存のための自己残差学習に基づく自己監督型ブラインド雑音装置及び方法 | |
| Juneja et al. | An improved adaptive median filtering method for impulse noise detection | |
| KR102034967B1 (ko) | 움직임 흐림 제거 방법 및 장치 | |
| Arastehfar et al. | An enhanced median filter for removing noise from MR images | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| KR102664214B1 (ko) | 질감 보존을 위한 자가-잔차 학습 기반 자가 감독 노이즈 제거 장치 및 방법 | |
| JP4224882B2 (ja) | データ処理装置およびデータ処理方法 | |
| KR20120138476A (ko) | 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치 | |
| CN113160056A (zh) | 一种基于深度学习的带噪图像超分辨率重建方法 | |
| JP2002208006A (ja) | 画像ノイズ減少方法 | |
| Juneja et al. | Design and development of an improved adaptive median filtering method for impulse noise detection | |
| KR102373483B1 (ko) | 딥러닝을 이용한 고속 영상 블러 제거 방법 및 장치 | |
| CN112330550B (zh) | 一种基于图像盲解卷积技术的图像复原方法及系统 | |
| KR102151975B1 (ko) | 양방향 영상 에러 은닉 장치 및 방법 | |
| CN116739948B (zh) | 图像处理方法和装置 | |
| KR101784425B1 (ko) | 목표 미분값을 이용한 영상 복원 장치 및 방법 | |
| CN112116545A (zh) | 基于特征域失真分解的图像、视频复原方法 | |
| KR20210141303A (ko) | 압축 영상의 노이즈를 추출하는 방법 및 장치, 압축 영상의 노이즈를 저감하는 방법 및 장치 | |
| KR101106613B1 (ko) | 에지 프로파일을 이용한 영상의 해상도 변환 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |