KR102615125B1 - 영상 노이즈 저감 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 - Google Patents
영상 노이즈 저감 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 Download PDFInfo
- Publication number
- KR102615125B1 KR102615125B1 KR1020190081286A KR20190081286A KR102615125B1 KR 102615125 B1 KR102615125 B1 KR 102615125B1 KR 1020190081286 A KR1020190081286 A KR 1020190081286A KR 20190081286 A KR20190081286 A KR 20190081286A KR 102615125 B1 KR102615125 B1 KR 102615125B1
- Authority
- KR
- South Korea
- Prior art keywords
- noise
- image
- denoising
- property
- intensity
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims abstract description 27
- 230000009467 reduction Effects 0.000 claims abstract description 25
- 238000012800 visualization Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 5
- 238000013178 mathematical model Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
영상 노이즈 저감 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 개시된다. 영상 노이즈 저감 시스템은, 노이즈 속성 산출부, 디노이징 강도 산출부, 및 디노이징 수행부를 포함한다. 노이즈 속성 산출부는 영상처리에 의해 발생하는 영상 노이즈에 대한 노이즈 변환 속성을 포함하고 영상의 화소 위치에 대응하는 노이즈 속성을 산출하고, 디노이징 강도 산출부는 노이즈 속성에 대응하는 디노이징 강도를 산출하며, 디노이징 수행부는 디노이징 강도에 따라 영상에 대한 디노이징을 수행한다.
Description
본 발명은 영상 처리 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 영상에 포함된 불필요한 노이즈를 제거하기 위한 시스템 및 방법에 관한 것이다.
영상에 포함된 불필요한 노이즈를 저감하기 위한 디노이징 기술은 영상처리의 중요한 분야 중 하나로 활발히 연구되어 왔다. 기존의 디노이징 기술은 일반적으로 입력 영상에 포함되어 있는 노이즈 신호를 백색(white) 또는 포아송(Poission) 노이즈 등의 수학적 모델로 가정한다.
특히 모든 개별 확률 변수가 서로 독립이고 동일한 확률분포를 따르는 i.i.d.(Independent and identically distributed) 확률 과정과 같이 수학적으로 접근하기 용이한 모델에 기반한다. 이러한 모델을 기반으로 입력 영상의 노이즈 량을 추정한 후 이를 파라미터로 입력받아 노이즈 제거 강도를 결정하고 노이즈를 저감시킨다.
초기 디노이징 기술은 노이즈가 포함된 영상신호로부터 노이즈를 분리하고 깨끗한 영상을 획득하기 위하여, 원본 영상의 선험적 정보(Image Prior)에 기반하여 원 신호 정보를 유지하면서 노이즈만을 효과적으로 분리하여 제거하는 필터를 개발하는 연구가 주를 이루었다 (예, Wiener Filtering, Bilateral Filtering, Diffusion Filtering, Wavelet Denoising 등).
그러나 이러한 방식은 수학적 노이즈 모델 및 신호의 선험적 정보가 실제 영상 신호의 특성과 일치하는 경우에는 성공적인 결과를 보여주지만, 그렇지 않은 경우에는 노이즈가 충분히 제거되지 않거나 원 영상이 포함하는 중요한 정보, 예를 들면 저대조도(low contrast) 구조 정보나 미세한(detail) 패턴으로 표현되는 영상 정보 등이 손실되는 경우가 발생할 수 있다.
따라서 원 영상의 정보 손실과 왜곡을 저감하기 위하여 상용 제품에 적용되는 디노이징에서는, 영상이 포함하고 있을 것으로 추정되는 노이즈 양보다 적은 강도로 디노이징 처리를 하기도 한다.
그럼에도 불구하고, 노이즈를 더욱 저감하기 위하여 디노이징의 강도를 크게 하는 경우에는 원 영상의 정보가 손실될 수 있고, 이러한 현상은 의료영상기기와 같이 미세한 영상 정보가 중요한 응용 분야에 적용하기에 부적합하다.
종래의 또 다른 디노이징 기술로서, 주변부의 화소 정보를 이용하는 필터 중심의 디노이징 방법과 달리, 전역적(non-local) 정보를 추가적으로 활용하여 신호대 잡음비(SNR)를 향상시키는 방법이 제안되었다.
영상의 자기 유사성 (Self-similarity)을 이용한 알고리즘 (예, Non Local Means Denoising, BM3D 등)이 그 예이다. 하지만, 전역 정보를 처리하기 위한 계산량이 방대하고 알고리즘의 특성이 병렬화에 적합하지 않아 실시간 응용으로의 적용이 용이하지 않다. 뿐만 아니라 자기 유사성 특성이 크지 않은 영상의 경우에는, 노이즈가 충분히 제거되지 않거나 원 신호의 정보 손실이 발생하는 문제를 피하기 어렵다.
최근에는 빅데이터 기반의 딥러닝 영상처리 기법들이 활발히 연구되면서, 디노이징 분야도 활발히 연구되고 있다. 특히 노이즈 시뮬레이션을 통해 생성된 합성 영상 데이터베이스로 구성된 빅데이터를 활용한 연구가 활발하다.
DnCNN(K. Zhang, et. al, "Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising," in IEEE Transactions on Image Processing, vol. 26, no. 7, pp. 3142-3155, July 2017)과 같은 깊은 합성곱 신경망 (deep convolutional neural network)을 사용하는 디노이징 방법은 깊은 합성곱 신경망의 비선형적 특성과 넓은 수용 영역(receptive field) 특성을 동시에 활용할 수 있기 때문에, 전역적인 정보를 사용할 수 있을 뿐만 아니라 다양한 영상의 선험적 특성을 반영할 수 있어 기존의 BM3D 등의 알고리즘과 유사하거나 더 우수한 성능을 보이는 경우도 보고되고 있다.
하지만, 이러한 방법들은 입력 영상이 포함하고 있는 실제 노이즈 량보다 적은 강도로 디노이징 하는 경우, 기존의 알고리즘에서 관찰되지 않았던 새로운 패턴이 발생되는 심각한 현상이 발생하기도 한다. 이러한 현상은 의료영상기기와 같이 영상 왜곡을 최소화해야 하는 응용분야서는 중요한 문제이며 이를 극복할 수 있는 방법이 필요하다.
대부분의 카메라 영상처리 파이프라인(Image Signal Processing Pipeline)에서는 디노이징 기술과 영상 개선을 위한 후처리 기술이 결합되어 사용된다. 디노이징과 영상 후처리는 순서를 바꾸어 실행할 수 있지만, 어떤 경우에도 디노이징과 영상 후처리를 순차적으로 실행하는 경우, 후처리에 의해 영상의 노이즈가 증폭되거나 감소하기도 하므로 후처리 알고리즘에 따라 적합한 디노이징 강도를 설정할 필요가 있다.
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 원 영상 데이터가 보유하고 있는 정보의 손실을 최소화하면서도 효과적인 디노이징을 수행할 수 있는 영상 노이즈 저감 시스템, 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해 본 발명에 따른 영상 노이즈 저감 시스템은, 노이즈 속성 산출부, 디노이징 강도 산출부, 및 디노이징 수행부를 포함한다. 노이즈 속성 산출부는 영상처리에 의해 발생하는 영상 노이즈에 대한 노이즈 변환 속성을 포함하고 영상의 화소 위치에 대응하는 노이즈 속성을 산출하고, 디노이징 강도 산출부는 노이즈 속성에 대응하는 디노이징 강도를 산출하며, 디노이징 수행부는 디노이징 강도에 따라 영상에 대한 디노이징을 수행한다.
이와 같은 구성에 의하면, 영상처리에 의해 변형되는 노이즈의 속성을 결정하고 이를 이용하여 디노이징의 강도를 조정함으로써, 노이즈가 증폭되는 부분에 적응적으로 디노이징 강도를 조절할 수 있어, 원 영상 데이터가 보유하고 있는 정보의 손실을 최소화 할 수 있게 된다.
이때, 노이즈 변환 속성은 영상의 전처리에 의해 발생하는 노이즈의 속성인 전처리 변환 속성, 및 영상의 암부 가시화 처리에 의해 발생하는 노이즈의 속성인 가시화 변환 속성을 포함할 수 있다.
또한, 노이즈 속성은 이미지 센서의 특성에 의해 발생하는 노이즈의 속성인 노이즈 통계 속성, 및 영상에 대한 광량 제어에 의한 발생하는 노이즈의 속성인 동적 노이즈 스케일링 속성을 더 포함할 수 있다. 이와 같은 구성에 의하면, 영상처리를 포함하는 다양한 원인에 의해 발생하는 노이즈에 대한 다중 노이즈 속성을 결정하고 이를 이용하여 디노이징의 강도를 조정함으로써, 원 영상 데이터가 보유하고 있는 정보의 손실을 더욱 최소화 할 수 있게 된다.
또한, 디노이징 수행부는 화소 위치에 대응하여 설정된 디노이징 강도의 맵을 이용하여 영상에 대해 디노이징을 수행할 수 있으며, 영상을 서로 다른 디노이징 강도로 각각 디노이징하고 디노이징된 복수의 영상을 화소 위치에 따라 가중합을 수행할 수도 있다. 이와 같은 구성에 의하면, 노이즈 속성에 따라 더욱 적합한 방식을 선택하여 최종 이미지를 결정할 수 있게 된다.
아울러, 상기 시스템을 방법의 형태로 구현한 발명과 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 함께 개시된다.
본 발명에 의하면, 영상처리에 의해 발생하는 노이즈의 속성을 결정하고 이를 이용하여 디노이징의 강도를 조정함으로써, 노이즈가 증폭되는 양에 따라 적응적으로 디노이징 강도를 조절할 수 있어, 원 영상 데이터가 보유하고 있는 정보의 손실을 최소화할 수 있게 된다.
또한, 영상처리를 포함한 다양한 원인에 의해 발생하는 노이즈에 대한 다중 노이즈 속성을 결정하고 이를 이용하여 디노이징의 강도를 조정함으로써, 원 영상 데이터가 보유하고 있는 정보의 손실을 더욱 최소화 할 수 있게 된다.
또한, 입력 영상의 노이즈 속성에 따라 더욱 적합한 방식을 선택하여 최종 이미지를 결정할 수 있게 된다.
또한, 노이즈 속성을 직접적으로 산출하지 않고 간접적으로 이용하여 디노이징을 수행할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 영상 노이즈 저감 시스템의 개략적인 블록도.
도 2는 도 1의 영상 노이즈 저감 시스템의 구현 예를 도시한 개략적인 블록도.
도 3은 도 1의 영상 노이즈 저감 시스템의 다른 구현 예를 도시한 개략적인 블록도.
도 4와 도 5는 특정 입력 노이즈 레벨에 대한 출력 노이즈의 변환 관계를 도시한 그래프.
도 6 및 도 7은 디노이징 강도를 결정하는 예가 도시된 도면.
도 8은 노이즈 속성을 간접적으로 이용하는 과정의 예가 도시된 도면.
도 9는 종래의 FFDNet의 노이즈 레벨 맵(noise level map)을 이용하여 디노이징 강도에 따라 디노이징(denoising)을 수행하는 과정의 예가 도시된 도면.
도 10은 미리 정해진 디노이징 이미지 세트(denoised image set)를 가중합( weighted sum)하여 최종 이미지를 결정하는 예가 도시된 도면.
도 2는 도 1의 영상 노이즈 저감 시스템의 구현 예를 도시한 개략적인 블록도.
도 3은 도 1의 영상 노이즈 저감 시스템의 다른 구현 예를 도시한 개략적인 블록도.
도 4와 도 5는 특정 입력 노이즈 레벨에 대한 출력 노이즈의 변환 관계를 도시한 그래프.
도 6 및 도 7은 디노이징 강도를 결정하는 예가 도시된 도면.
도 8은 노이즈 속성을 간접적으로 이용하는 과정의 예가 도시된 도면.
도 9는 종래의 FFDNet의 노이즈 레벨 맵(noise level map)을 이용하여 디노이징 강도에 따라 디노이징(denoising)을 수행하는 과정의 예가 도시된 도면.
도 10은 미리 정해진 디노이징 이미지 세트(denoised image set)를 가중합( weighted sum)하여 최종 이미지를 결정하는 예가 도시된 도면.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 노이즈 저감 시스템의 개략적인 블록도이다. 도 1에서, 영상 노이즈 저감 시스템(100)은 노이즈 속성 산출부(110), 디노이징 강도 산출부(120), 및 디노이징 수행부(130)를 포함한다.
노이즈 속성 산출부(110)는 영상의 화소 위치에 대응하는 노이즈 속성을 산출한다. 이때, 노이즈 속성은 영상처리에 의해 발생하는 영상 노이즈에 대한 노이즈 변환 속성을 포함할 수 있으며, 이미지 센서의 특성에 의해 발생하는 노이즈의 속성인 노이즈 통계 속성이나, 영상에 대한 광량 제어에 의한 발생하는 노이즈의 속성인 동적 노이즈 스케일링 속성을 더 포함할 수 있다.
또한, 노이즈 변환 속성은 영상의 전처리에 의해 발생하는 노이즈의 속성인 전처리 변환 속성, 및 영상의 암부 가시화 처리에 의해 발생하는 노이즈의 속성인 가시화 변환 속성을 포함할 수 있다.
보다 구체적으로, 최종 노이즈는 디스플레이된 영상(displayed image)에 포함되어 있는 노이즈로서, 최종 노이즈에 영향을 미치는 노이즈 속성(Noise Attribute)들은 다음과 같이 결정된다. 노이즈 통계 속성(noise statistics attribute)은 이미지 센서(Image sensor)의 노이즈 특성과 센서 노출시간 동안 입사하는 광자의 통계적 분포에 따라 원본 이미지(raw image)의 화소 밝기값(intensity)에 대한 입력 노이즈(input noise)량의 매핑 관계로 결정된다.
또한, 동적 노이즈 스케일링 속성(dynamic noise scaling attribute)은 광원 강도(light source intensity)에 따라 계산된 동적 범위(dynamic range)에 따라 원본 이미지에 대한 입력 노이즈(input noise)에 대한 출력 노이즈 스케일링 팩터(output noise scaling factor)가 결정되며, 노이즈 변환 속성(noise transform attribute)은 디노이징 처리 알고리즘을 제외한 영상 처리 알고리즘(image processing algorithm)에 따라 입력 노이즈(input noise)에 대한 출력 노이즈(output noise)의 변환(transform)이 결정된다.
노이즈 속성에 대한 산출 방법은 다음과 같다. 노이즈 통계 속성을 계산하는 방법은, 컬러 차트에 포함된 컬러 패치의 촬영 영상을 이용하여 각 패치의 화소 레벨값(pixel intensity)에 대한 노이즈량(noise variance)을 계산하여 화소 레벨에 따른 노이즈량(intensity-dependent noise variance)의 매핑 관계를 산출한다.
동적 노이즈 스케일링 속성을 계산하는 방법은, 이미지 센서에서 출력되는 원본 이미지(raw image)로부터 디스플레이를 위한 동적 영역(dynamic range)을 결정하는 window 값은 컴퓨터가 자동으로 계산하므로 이를 이용하여, window의 스케일링 값에 비례하게 노이즈 분산의 스케일링 값을 산출한다.
노이즈 변환 속성을 계산하는 방법은, 노이즈가 무시할 만큼 작거나 노이즈가 없는 영상에 가상의 노이즈를 추가하거나 알려진 노이즈가 포함되어 있는 실제 영상을 입력으로 하여 영상처리 알고리즘에 의해 변화한 노이즈를 계산함으로써 영상처리 전후의 노이즈량의 변환 관계를 나타내는 매핑 함수(mapping function)를 결정하거나, 영상처리 알고리즘을 구성하는 수학적 모델에 따라 입력 영상에 따른 출력 영상의 노이즈 변환 관계를 유도하여 산출한다.
도 2는 도 1의 영상 노이즈 저감 시스템의 구현 예를 도시한 개략적인 블록도이다. 도 2에서 노이즈 속성 산출부(110)는 각각 노이즈 통계 속성, 노이즈 변환 속성, 및 동적 노이즈 스케일링 속성을 산출하는 산출부(112, 114, 116)를 포함하고 있다.
또한, 도 2에는, 디노이징 강도 산출부(120)는 노이즈 속성 산출부(110)로부터 전달받은 노이즈 속성 정보를 이용하여 디노이징 강도를 산출하여 디노이징 수행부(130)로 전달하며, 디노이징 수행부(130)는 다시 디노이징을 수행한 결과 정보를 영상 처리부(140)에 포함된 암부 가시화부(142)로 전달하는 구성이 도시되어 있다.
도 2에서의 디노이징 과정은 이미지 센서의 원본 영상 데이터를 디베이어링 처리부(144), 색상 보정부(146), 디노이징 수행부(130), 암부 가시화부(142)의 순서대로 수행된다. 그러나 디베이어링 처리부(144), 색상 보정부(146), 영상개선 처리부(142), 디노이징 처리부(130)의 수행 순서는 임의로 바꾸어 설정하여 구현될 수 있다.
도 3은 도 1의 영상 노이즈 저감 시스템의 다른 구현 예를 도시한 개략적인 블록도이다. 도 3에서, 영상 노이즈 저감 시스템은, 이미지 센서의 원본(RAW) 영상 데이터를 입력받아, 디베이어링, 컬러 보정, 암부 가시화, 디노이징의 순서로 구현되어 있는 것을 확인할 수 있다.
도 3에서, 디노이징 수행부(130)는 디베이어링 처리부(144), 색상 보정부(146), 및 암부 가시화부(142)를 포함하는 영상 처리부(140)의 전 구성을 통과한 영상에 대해 디노이징을 수행하는 것을 확인할 수 있다.
노이즈 속성 산출부(110)는 이미지 센서의 원본(RAW) 영상 데이터로부터 모니터에 디스플레이되는 영상으로 처리되는 과정에서 각 단계의 노이즈의 특성 변화가 발생하므로, 이 과정에서 발생하는 노이즈 특성 변화를 반영하여 디노이징 강도를 결정하기 위한 구성이다.
최종 영상의 노이즈는 다음과 같은 요인의 영향을 받는다. 먼저, 이미지 센서(Image sensor)와 관련된 노이즈는, 이미지 센서에서 발생하는 고유의 노이즈와 소정의 입사광 노출 시간 동안 검출된 광자의 통계적 분포에 의해 관찰되는 포톤 샷 노이즈(photon shot noise)를 의미한다.
영상 처리(Image processing)와 관련된 노이즈는, 전처리(Debayer filter나 color correction matrix 등) 수행 후 원본 영상의 노이즈 특성이 변형되는 것을 의미한다. 이 경우, R, G, B 영상의 노이즈가 서로 상이할 수 있으며, 이는 전처리 알고리즘에 따라 결정된다.
또한, 암부 가시화 알고리즘(Retinex 알고리즘 등 어두운 부분만을 선택적으로 밝기를 개선하는 알고리즘)을 적용하는 경우, 어두운 영역일수록 밝게 영상이 증폭되는 과정에서 노이즈도 함께 증폭되는 경향을 보이는 것도 의미할 수 있다.
한편, 조명의 세기에 따라 이미지 센서에서 출력되는 원본 영상의 히스토그램(histogram) 분포는 다양하게 변화하기 때문에 히스토그램 분포에 기반하여 최적의 디스플레이 윈도우(display window)를 조정할 필요가 있다.
동영상의 경우 포화 픽셀의 수를 제한하고 영상의 정보를 표현하는 동적 영역(dynamic range)을 설정하기 위하여 밝기에 대한 윈도우 값은 각 프레임마다 계산하여 조정된다. 즉, 프레임(frame)마다 디스플레이(display) 영상의 노이즈가 변화하는데, 디스플레이 범위(Display range)와 관련된 노이즈는 이를 의미한다.
이와 같이 다양한 속성의 노이즈에 대해, 영상 노이즈의 저감을 위해 단순한 노이즈 모델을 이용하거나, 이미지 내 모든 픽셀에 동일한 디노이징 강도를 적용하거나, 모든 프레임에 동일한 디노이징 강도를 적용하는 등의 방법은 디노이징 성능 저하 및 이미지의 왜곡이나 정보 손실을 초래하게 된다. 따라서, 다중 노이즈 속성을 결정하고 이를 이용하여 픽셀의 위치에 따라 프레임마다 디노이징의 강도를 조정할 필요가 있다.
이에 따라, 노이즈 속성 산출부(110)는, 노이즈 통계 속성(Noise statistics attribute; 이미지 센서 노이즈 속성)의 산출을 위해, 이미지 센서에서 획득한 원본 영상 데이터로부터 영상의 노이즈를 측정하여(예, MacBeth color chart, colorguage chart 등 이용 가능) 화소 강도(pixel intensity)에 따라 변화하는 노이즈 분산값에 해당하는 매핑 함수를 저장한다.
또한, 노이즈 변환 속성(Noise transform attribute; 영상처리 알고리즘에 의한 노이즈 변형 속성)의 산출을 위해, 전처리 (Debayer filter나 color correction matrix 등)수행 후 변환되는 노이즈 특성을 저장한다. 이때, 화소 강도(pixel intensity)에 따른 noise covariance matrix 형태로 저장한다.
암부 가시화 알고리즘(Retinex 알고리즘 등)을 적용하는 경우, 강도(intensity)에 따라 노이즈(noise)가 증폭되는 관계를 표현하는 함수를 계산하여 저장한다. 노이즈 변환 속성(Noise transform attribute)의 예시는 도 4 및 도 5와 같다. 도 4과 도 5는 특정 입력 노이즈 레벨에 대한 출력 노이즈의 변환 관계를 도시한 그래프이다.
이를 계산하는 방법의 예로는, 1) 가상의 전산 모사된 노이즈나 알려진 노이즈 영상을 입력하여 암부 가시화 알고리즘에 의해 변화한 noise를 계산하여 알고리즘 전후의 노이즈 매핑 함수를 결정하거나, 2) 암부 가시화 알고리즘의 수학적 모델에 따라 노이즈 변환 관계를 수학적으로 유도, 계산할 수 있다.
1)의 구체적인 방법으로서, 암부 가시화 알고리즘이 복잡한 비선형 연산을 포함하고 있거나 알고리즘의 수학적 모델을 통해 노이즈 변환 관계를 직접 유도하기 어려울 때 다음과 같은 방법을 사용할 수 있다.
첫째. SVM(support vector machine), random forest 등의 기계학습 방법을 이용하여 훈련(Tranining) 과정에서 입력 화소의 RGB값으로부터 암부 가시화 알고리즘에 의한 노이즈량(표준 편차 또는 분산)을 예측하는 노이즈 변환 예측 모델(Predictive Model)을 계산할 수 있다.
이때, 기계학습에 의한 노이즈 변환 예측 모델의 예측 정확도를 개선하기 위해, 기계학습 훈련에 사용되는 입력 데이터로 화소의 RGB 값뿐만 아니라, 해당 화소의 주변 화소의 RGB 정보, 이미지 피라미드 정보, 스케일 이미지 정보 등을 함께 활용 가능하다.
둘째, SVM이나 random forest 외에 합성곱 신경망(CNN; convolutional neural network)을 이용할 수도 있다. 합성곱 신경망의 훈련을 위한 입력 데이터로 RGB 이미지 패치를 사용할 수 있고, 출력 데이터는 실제 노이즈량(표준 편차 혹은 분산)을 나타내는 이차원 맵으로 정의할 수 있다.
한편, 기계학습 기법을 활용하면, 노이즈 통계 속성과 노이즈 변환 속성을 한번에 추정하는 방법도 가능하다. 이를 위해, 가상의 노이즈가 포함된 RAW 영상 데이터 또는 알려진 노이즈가 포함된 실제 이미지 센서의 RAW 데이터를 입력으로 하고 영상처리 후 측정되는 영상의 노이즈를 출력으로 하여 예측 모델을 학습하는 regression 과정을 수행할 수 있다.
또한, 노이즈 속성 산출부(110)는 동적 노이즈 스케일링 속성(Dynamic noise scaling attribute; 광량제어 및 이미지 디스플레이를 위한 영상 데이터의 동적 가변 노이즈 스케일링 특성)의 산출을 위해, 윈도우(window) 조정에 따른 SNR의 변화를 고려하여 윈도우(window) 조정 파라미터와 변화된 노이즈의 관계 정보를 함수 파라미터 또는 매핑 테이블 형태로 저장한다. 이 경우, 동적 범위(dynamic range)를 결정하는 윈도우(window) 값은 컴퓨터가 계산하므로 이를 참조하여 계산할 수 있다.
디노이징 강도 산출부(120)는 노이즈 속성에 대응하여 이를 효과적으로 제거할 수 있는 디노이징 강도를 산출한다. 디노이징 강도 산출부의 기능은 이미지 센서의 노이즈 특성, 암부 가시화 등 영상처리 알고리즘에 의해 변환된 노이즈 특성, 디스플레이 윈도우(display window)에 따라 변화하는 노이즈 스케일링 특성 등 픽셀 위치 및 프레임마다 변화하는 다중 노이즈 속성 데이터를 디노이징 강도(denoising strength) 파라미터로 변환하여 디노이징 알고리즘의 입력으로 전달하는 것이다.
디노이징 강도(Denoising strength) 결정 방법의 예는 도 6 및 도 7과 같다. 도 6 및 도 7은 디노이징 강도를 결정하는 예가 도시된 도면이다. 도 6에는 신호 세기(input pixel intensity)와 디스플레이 영상에서의 노이즈 N의 비율 R = N/S을 기준으로 R에 비례하게 디노이징 강도(denoising strength)를 결정된 예가 도시되어 있다. 이를 통한 디노이징으로 암부 가시화 적용시 입력 영상의 밝기값에 무관하게 일정한 신호대 잡음비를 기대할 수 있다. 또한, 도 7에는 R 이 특정 이상의 경우에만 디노이징(denoising)을 적용한 예가 도시되어 있다.
한편, 노이즈 속성(noise attribute) 데이터를 직접 이용하지 않고 간접적으로 이용하여 디노이징 강도를 결정할 수 있다. 도 8은 노이즈 속성을 간접적으로 이용하여 디노이징 강도를 결정하는 과정의 예가 도시된 도면이다.
이 실시예에서는 노이즈 속성을 직접 계산하는 대신, 깊은 합성곱 신경망을 이용하여 디노이징 강도를 예측하는 예측 모델을 신경망 훈련을 통해 결정한다. 도 8과 같이 노이즈가 포함된 영상을 입력으로 하고, 합성곱 신경망을 통해 디노이징 강도 파라미터를 계산하고 이를 통해 디노이징을 수행한 후 암부 가시화 처리를 거친 제 1 영상을 계산한다.
한편, 노이즈가 포함되지 않거나 무시할 만큼 적은 깨끗한 영상을 입력으로 하고 디노이징을 거치지 않고 동일한 암부 가시화 처리를 거친 제 2 영상을 계산한다. 제 1 영상과 제 2 영상의 화질 평가 기준(image quality metric)을 이용하여 제 1 영상과 제 2 영상이 최대한 유사하도록 하는 loss function을 이용한다.
디노이징 수행부(130)는 디노이징 강도에 따라 영상에 대한 디노이징을 수행한다. 이때, 디노이징 수행부(130)는 화소 위치에 대응하여 설정된 디노이징 강도의 맵을 이용하여 영상에 대해 디노이징을 수행할 수 있다. 도 9는 종래의 FFDNet(K. Zhang, W. Zuo and L. Zhang, "FFDNet: Toward a Fast and Flexible Solution for CNN-Based Image Denoising," in IEEE Transactions on Image Processing, vol. 27, no. 9, pp. 4608-4622, Sept. 2018)을 이용하여 디노이징 강도의 맵을 이용하여 디노이징(denoising)을 수행하는 과정의 예가 도시된 도면이다.
또한, 디노이징 수행부(130)는 영상을 서로 다른 디노이징 강도로 각각 디노이징하고 디노이징된 복수의 영상을 화소 위치에 따라 가중합을 수행할 수도 있다. 도 10은 미리 정해진 디노이징 이미지 세트(denoised image set)를 가중합( weighted sum)하여 최종 이미지를 결정하는 예가 도시된 도면이다. 이때, 가중 팩터(weighting factor)는 보간법을 이용하여 결정될 수 있다.
정리하면, 종래의 영상 디노이징 기술은 단순한 노이즈 모델을 이용하거나, 이미지 내 모든 픽셀에 동일한 디노이징 강도를 적용하거나, 모든 프레임에 동일한 디노이징 강도를 적용하는 데 반해, 본 발명에서는 암부 가시화 알고리즘의 노이즈 변환 특성을 포함한 다중 노이즈 속성을 계산하여 시간(프레임 위치를 의미) 및 공간 위치(이미지 공간을 의미)에 따라 노이즈 강도 파라미터를 적응적으로 가변한다. 따라서, 노이즈가 증폭되는 부분에만 적응적으로 디노이징 강도를 조절할 수 있어, 암부 가시화 알고리즘을 적용하는 경우 원 영상 데이터가 보유하고 있는 정보의 손실을 최소화할 수 있게 된다.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만, 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야할 것이다.
100: 영상 노이즈 저감 시스템
110(112, 114, 116): 노이즈 속성 산출부
120: 디노이징 강도 산출부
130: 디노이징 수행부
140: 영상 처리부
142: 암부 가시화부
144: 디베이어링 처리부
146: 색상 보정부
110(112, 114, 116): 노이즈 속성 산출부
120: 디노이징 강도 산출부
130: 디노이징 수행부
140: 영상 처리부
142: 암부 가시화부
144: 디베이어링 처리부
146: 색상 보정부
Claims (15)
- 영상처리에 의해 변형되는 영상 노이즈에 대한 노이즈 변환 속성을 포함하고, 영상의 화소 위치에 대응하는 노이즈 속성을 산출하는 노이즈 속성 산출부;
상기 노이즈 속성에 대응하는 디노이징 강도를 산출하는 디노이징 강도 산출부; 및
상기 디노이징 강도에 따라 상기 영상에 대한 디노이징을 수행하는 디노이징 수행부를 포함하는 영상 노이즈 저감 시스템으로서,
상기 디노이징 강도 산출부가,
노이즈가 포함된 영상에 대해 합성곱 신경망을 통해 디노이징 강도를 계산하고, 디노이징 및 암부 가시화 처리를 수행하여 제 1 영상을 산출하고,
노이즈가 포함되지 않고 디노이징을 수행하지 않은 영상에 대해 상기 암부 가시화 처리 수행하여 제 2 영상을 산출하며,
상기 제 1 영상과 상기 제 2 영상을 이용하여 산출한 손실 함수(loss function)를 이용하여 상기 디노이징 강도를 결정하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
- 청구항 1에 있어서,
상기 노이즈 변환 속성은 상기 영상의 전처리에 의해 발생하는 노이즈의 속성인 노이즈 변환 속성을 포함하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
- 청구항 1에 있어서,
상기 노이즈 변환 속성은 상기 영상의 암부 가시화 처리에 의해 발생하는 노이즈의 속성인 노이즈 변환 속성을 포함하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
- 청구항 1에 있어서,
상기 노이즈 속성은 이미지 센서의 특성에 의해 발생하는 노이즈의 속성인 노이즈 통계 속성을 더 포함하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
- 청구항 1에 있어서,
상기 노이즈 속성은 상기 영상에 대한 광량 제어에 의한 발생하는 노이즈의 속성인 동적 노이즈 스케일링 속성을 더 포함하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
- 청구항 1에 있어서,
상기 디노이징 수행부는 상기 화소 위치에 대응하여 설정된 상기 디노이징 강도의 맵을 이용하여 상기 영상에 대해 디노이징을 수행하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
- 청구항 1에 있어서,
상기 디노이징 수행부는 상기 영상을 서로 다른 디노이징 강도로 각각 디노이징하고, 디노이징된 복수의 상기 영상을 화소 위치에 따라 가중 합을 수행하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
- 영상 노이즈 저감 시스템에 의해 수행되는 영상 노이즈 저감 방법으로서,
영상처리에 의해 변형되는 영상 노이즈에 대한 노이즈 변환 속성을 포함하고, 영상의 화소 위치에 대응하는 노이즈 속성을 산출하는 노이즈 속성 산출 단계;
상기 노이즈 속성에 대응하는 디노이징 강도를 산출하는 디노이징 강도 산출 단계; 및
상기 디노이징 강도에 따라 상기 영상에 대한 디노이징을 수행하는 디노이징 수행 단계를 포함하는 영상 노이즈 저감 방법으로서,
상기 디노이징 강도 산출 단계가,
노이즈가 포함된 영상에 대해 합성곱 신경망을 통해 디노이징 강도를 계산하고, 디노이징 및 암부 가시화 처리를 수행하여 제 1 영상을 산출하고,
노이즈가 포함되지 않고 디노이징을 수행하지 않은 영상에 대해 상기 암부 가시화 처리 수행하여 제 2 영상을 산출하며,
상기 제 1 영상과 상기 제 2 영상을 이용하여 산출한 손실 함수(loss function)를 이용하여 상기 디노이징 강도를 결정하는 것을 특징으로 하는 영상 노이즈 저감 방법.
- 청구항 8에 있어서,
상기 노이즈 변환 속성은 상기 영상의 전처리에 의해 발생하는 노이즈 속성인 노이즈 변환 속성을 포함하는 것을 특징으로 하는 영상 노이즈 저감 방법.
- 청구항 8에 있어서,
상기 노이즈 변환 속성은 상기 영상의 암부 가시화 처리에 의해 발생하는 노이즈 속성인 노이즈 변환 속성을 포함하는 것을 특징으로 하는 영상 노이즈 저감 방법.
- 청구항 8에 있어서,
상기 노이즈 속성은 이미지 센서의 특성에 의해 발생하는 노이즈 변환 속성인 노이즈 통계 속성을 더 포함하는 것을 특징으로 하는 영상 노이즈 저감 방법.
- 청구항 8에 있어서,
상기 노이즈 속성은 상기 영상에 대한 광량 제어에 의한 발생하는 노이즈 속성인 동적 노이즈 스케일링 속성을 더 포함하는 것을 특징으로 하는 영상 노이즈 저감 방법.
- 청구항 8에 있어서,
상기 디노이징 수행 단계는 상기 화소 위치에 대응하여 설정된 상기 디노이징 강도의 맵을 이용하여 상기 영상에 대해 디노이징을 수행하는 것을 특징으로 하는 영상 노이즈 저감 방법.
- 청구항 8에 있어서,
상기 디노이징 수행 단계는 상기 영상을 서로 다른 디노이징 강도로 각각 디노이징하고, 상기 디노이징된 복수의 영상을 화소 위치에 따라 가중합을 수행하는 것을 특징으로 하는 영상 노이즈 저감 방법.
- 청구항 8 내지 청구항 14 중 어느 한 청구항의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190081286A KR102615125B1 (ko) | 2019-07-05 | 2019-07-05 | 영상 노이즈 저감 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190081286A KR102615125B1 (ko) | 2019-07-05 | 2019-07-05 | 영상 노이즈 저감 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210004610A KR20210004610A (ko) | 2021-01-13 |
| KR102615125B1 true KR102615125B1 (ko) | 2023-12-19 |
Family
ID=74142879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190081286A KR102615125B1 (ko) | 2019-07-05 | 2019-07-05 | 영상 노이즈 저감 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102615125B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005055588A1 (ja) * | 2003-12-03 | 2005-06-16 | Nikon Corporation | ノイズ除去の強弱を画面内でコントロ−ルする画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ |
| JP2007150441A (ja) * | 2005-11-24 | 2007-06-14 | Fujifilm Corp | ノイズリダクション装置及びノイズリダクション方法 |
| JP2010108008A (ja) * | 2008-09-30 | 2010-05-13 | Noritsu Koki Co Ltd | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 |
| JP2015046678A (ja) * | 2013-08-27 | 2015-03-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100735561B1 (ko) * | 2005-11-02 | 2007-07-04 | 삼성전자주식회사 | 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치 |
| KR101727285B1 (ko) | 2010-12-28 | 2017-04-14 | 삼성전자주식회사 | 노이즈 변화와 움직임 감지를 고려한 영상 노이즈 필터링 방법 및 장치 |
-
2019
- 2019-07-05 KR KR1020190081286A patent/KR102615125B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005055588A1 (ja) * | 2003-12-03 | 2005-06-16 | Nikon Corporation | ノイズ除去の強弱を画面内でコントロ−ルする画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ |
| JP2007150441A (ja) * | 2005-11-24 | 2007-06-14 | Fujifilm Corp | ノイズリダクション装置及びノイズリダクション方法 |
| JP2010108008A (ja) * | 2008-09-30 | 2010-05-13 | Noritsu Koki Co Ltd | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 |
| JP2015046678A (ja) * | 2013-08-27 | 2015-03-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210004610A (ko) | 2021-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107527332B (zh) | 基于改进Retinex的低照度图像色彩保持增强方法 | |
| Hou et al. | An efficient nonlocal variational method with application to underwater image restoration | |
| CN110706174B (zh) | 一种图像增强方法、终端设备及存储介质 | |
| CN111986120A (zh) | 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法 | |
| CN110428379B (zh) | 一种图像灰度增强方法及系统 | |
| JP4456819B2 (ja) | デジタル画像鮮鋭化装置 | |
| WO2016139260A9 (en) | Method and system for real-time noise removal and image enhancement of high-dynamic range images | |
| Zhou et al. | Multi-scale retinex-based adaptive gray-scale transformation method for underwater image enhancement | |
| CN107644409B (zh) | 图像增强方法、显示装置及计算机可读存储介质 | |
| WO2014070273A1 (en) | Recursive conditional means image denoising | |
| Wang et al. | Low-light image joint enhancement optimization algorithm based on frame accumulation and multi-scale Retinex | |
| CN111105371A (zh) | 一种低对比度红外图像的增强方法 | |
| Muniraj et al. | Underwater image enhancement by color correction and color constancy via Retinex for detail preserving | |
| Wang et al. | Low-light image enhancement based on virtual exposure | |
| Yang et al. | Low-light image enhancement based on Retinex theory and dual-tree complex wavelet transform | |
| CN106981052B (zh) | 基于变分框架的自适应亮度不均变分校正方法 | |
| Jeon et al. | Low-light image enhancement using inverted image normalized by atmospheric light | |
| Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion | |
| CN115965544A (zh) | 自适应亮度调节的图像增强方法及系统 | |
| Lei et al. | Low-light image enhancement using the cell vibration model | |
| Wen et al. | Autonomous robot navigation using Retinex algorithm for multiscale image adaptability in low-light environment | |
| Pandey et al. | A fast and effective vision enhancement method for single foggy image | |
| Muniraj et al. | Underwater image enhancement by modified color correction and adaptive Look-Up-Table with edge-preserving filter | |
| CN116664451B (zh) | 基于多图像处理的测量机器人测量优化方法 | |
| KR102615125B1 (ko) | 영상 노이즈 저감 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |