KR20210004610A - System and method for denoising image, and a recording medium having computer readable program for executing the method - Google Patents
System and method for denoising image, and a recording medium having computer readable program for executing the method Download PDFInfo
- Publication number
- KR20210004610A KR20210004610A KR1020190081286A KR20190081286A KR20210004610A KR 20210004610 A KR20210004610 A KR 20210004610A KR 1020190081286 A KR1020190081286 A KR 1020190081286A KR 20190081286 A KR20190081286 A KR 20190081286A KR 20210004610 A KR20210004610 A KR 20210004610A
- Authority
- KR
- South Korea
- Prior art keywords
- noise
- denoising
- image
- property
- attribute
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 30
- 230000009467 reduction Effects 0.000 claims abstract description 15
- 238000012800 visualization Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 영상 처리 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 영상에 포함된 불필요한 노이즈를 제거하기 위한 시스템 및 방법에 관한 것이다.The present invention relates to an image processing system and method, and more particularly, to a system and method for removing unnecessary noise included in an image.
영상에 포함된 불필요한 노이즈를 저감하기 위한 디노이징 기술은 영상처리의 중요한 분야 중 하나로 활발히 연구되어 왔다. 기존의 디노이징 기술은 일반적으로 입력 영상에 포함되어 있는 노이즈 신호를 백색(white) 또는 포아송(Poission) 노이즈 등의 수학적 모델로 가정한다. Denoising technology for reducing unnecessary noise included in images has been actively studied as one of the important fields of image processing. Existing denoising techniques generally assume a noise signal included in an input image as a mathematical model, such as white or Poission noise.
특히 모든 개별 확률 변수가 서로 독립이고 동일한 확률분포를 따르는 i.i.d.(Independent and identically distributed) 확률 과정과 같이 수학적으로 접근하기 용이한 모델에 기반한다. 이러한 모델을 기반으로 입력 영상의 노이즈 량을 추정한 후 이를 파라미터로 입력받아 노이즈 제거 강도를 결정하고 노이즈를 저감시킨다.In particular, it is based on a mathematically accessible model, such as i.i.d. (Independent and identically distributed) probability processes in which all individual random variables are independent and follow the same probability distribution. After estimating the amount of noise in the input image based on this model, it receives it as a parameter to determine the noise removal strength and reduce noise.
초기 디노이징 기술은 노이즈가 포함된 영상신호로부터 노이즈를 분리하고 깨끗한 영상을 획득하기 위하여, 원본 영상의 선험적 정보(Image Prior)에 기반하여 원 신호 정보를 유지하면서 노이즈만을 효과적으로 분리하여 제거하는 필터를 개발하는 연구가 주를 이루었다 (예, Wiener Filtering, Bilateral Filtering, Diffusion Filtering, Wavelet Denoising 등). The initial denoising technology uses a filter that effectively separates and removes only the noise while maintaining the original signal information based on the a priori information (Image Prior) of the original image in order to separate noise from the image signal containing noise and obtain a clean image. Research to develop was mainly done (eg, Wiener Filtering, Bilateral Filtering, Diffusion Filtering, Wavelet Denoising, etc.).
그러나 이러한 방식은 수학적 노이즈 모델 및 신호의 선험적 정보가 실제 영상 신호의 특성과 일치하는 경우에는 성공적인 결과를 보여주지만, 그렇지 않은 경우에는 노이즈가 충분히 제거되지 않거나 원 영상이 포함하는 중요한 정보, 예를 들면 저대조도(low contrast) 구조 정보나 미세한(detail) 패턴으로 표현되는 영상 정보 등이 손실되는 경우가 발생할 수 있다. However, this method shows a successful result when the mathematical noise model and a priori information of the signal coincide with the characteristics of the actual image signal, but otherwise, the noise is not sufficiently removed or the important information contained in the original image, for example. There may be a case where low contrast structure information or image information expressed in a detailed pattern is lost.
따라서 원 영상의 정보 손실과 왜곡을 저감하기 위하여 상용 제품에 적용되는 디노이징에서는, 영상이 포함하고 있을 것으로 추정되는 노이즈 양보다 적은 강도로 디노이징 처리를 하기도 한다. Therefore, in denoising applied to commercial products in order to reduce information loss and distortion of the original image, the denoising process is sometimes performed with an intensity less than the amount of noise estimated to be included in the image.
그럼에도 불구하고, 노이즈를 더욱 저감하기 위하여 디노이징의 강도를 크게 하는 경우에는 원 영상의 정보가 손실될 수 있고, 이러한 현상은 의료영상기기와 같이 미세한 영상 정보가 중요한 응용 분야에 적용하기에 부적합하다.Nevertheless, if the intensity of denoising is increased to further reduce noise, information of the original image may be lost, and this phenomenon is unsuitable for application to applications where fine image information is important, such as medical imaging devices. .
종래의 또 다른 디노이징 기술로서, 주변부의 화소 정보를 이용하는 필터 중심의 디노이징 방법과 달리, 전역적(non-local) 정보를 추가적으로 활용하여 신호대 잡음비(SNR)를 향상시키는 방법이 제안되었다. As yet another conventional denoising technique, a method of improving the signal-to-noise ratio (SNR) by additionally utilizing non-local information has been proposed, unlike a filter-centered denoising method using peripheral pixel information.
영상의 자기 유사성 (Self-similarity)을 이용한 알고리즘 (예, Non Local Means Denoising, BM3D 등)이 그 예이다. 하지만, 전역 정보를 처리하기 위한 계산량이 방대하고 알고리즘의 특성이 병렬화에 적합하지 않아 실시간 응용으로의 적용이 용이하지 않다. 뿐만 아니라 자기 유사성 특성이 크지 않은 영상의 경우에는, 노이즈가 충분히 제거되지 않거나 원 신호의 정보 손실이 발생하는 문제를 피하기 어렵다.An example is an algorithm using image self-similarity (eg, Non Local Means Denoising, BM3D, etc.). However, it is not easy to apply it to real-time applications because the computational amount for processing global information is vast and the characteristics of the algorithm are not suitable for parallelization. In addition, in the case of an image that does not have a large self-similarity characteristic, it is difficult to avoid a problem that noise is not sufficiently removed or information loss of the original signal occurs.
최근에는 빅데이터 기반의 딥러닝 영상처리 기법들이 활발히 연구되면서, 디노이징 분야도 활발히 연구되고 있다. 특히 노이즈 시뮬레이션을 통해 생성된 합성 영상 데이터베이스로 구성된 빅데이터를 활용한 연구가 활발하다. In recent years, as deep learning image processing techniques based on big data have been actively studied, the field of denoising is also actively researched. In particular, research using big data consisting of a synthetic image database generated through noise simulation is active.
DnCNN(K. Zhang, et. al, "Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising," in IEEE Transactions on Image Processing, vol. 26, no. 7, pp. 3142-3155, July 2017)과 같은 깊은 합성곱 신경망 (deep convolutional neural network)을 사용하는 디노이징 방법은 깊은 합성곱 신경망의 비선형적 특성과 넓은 수용 영역(receptive field) 특성을 동시에 활용할 수 있기 때문에, 전역적인 정보를 사용할 수 있을 뿐만 아니라 다양한 영상의 선험적 특성을 반영할 수 있어 기존의 BM3D 등의 알고리즘과 유사하거나 더 우수한 성능을 보이는 경우도 보고되고 있다. DnCNN (K. Zhang, et. al, "Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising," in IEEE Transactions on Image Processing, vol. 26, no. 7, pp. 3142-3155, July 2017) The denoising method using a deep convolutional neural network such as can utilize the nonlinear characteristics of the deep convolutional neural network and the wide receptive field characteristics at the same time, so that global information can be used. In addition, since it can reflect the a priori characteristics of various images, it has been reported that it has similar or better performance to the existing algorithms such as BM3D.
하지만, 이러한 방법들은 입력 영상이 포함하고 있는 실제 노이즈 량보다 적은 강도로 디노이징 하는 경우, 기존의 알고리즘에서 관찰되지 않았던 새로운 패턴이 발생되는 심각한 현상이 발생하기도 한다. 이러한 현상은 의료영상기기와 같이 영상 왜곡을 최소화해야 하는 응용분야서는 중요한 문제이며 이를 극복할 수 있는 방법이 필요하다. However, in these methods, when denoising with an intensity less than the actual amount of noise included in the input image, a serious phenomenon occurs in which a new pattern not observed in the existing algorithm occurs. This phenomenon is an important problem in applications where image distortion needs to be minimized, such as medical imaging devices, and a method to overcome it is needed.
대부분의 카메라 영상처리 파이프라인(Image Signal Processing Pipeline)에서는 디노이징 기술과 영상 개선을 위한 후처리 기술이 결합되어 사용된다. 디노이징과 영상 후처리는 순서를 바꾸어 실행할 수 있지만, 어떤 경우에도 디노이징과 영상 후처리를 순차적으로 실행하는 경우, 후처리에 의해 영상의 노이즈가 증폭되거나 감소하기도 하므로 후처리 알고리즘에 따라 적합한 디노이징 강도를 설정할 필요가 있다. In most camera image processing pipelines, denoising technology and post-processing technology for image improvement are used in combination. Denoising and image post-processing can be performed in a different order, but in any case, if denoising and image post-processing are performed sequentially, image noise may be amplified or reduced by post-processing. It is necessary to set the easing strength.
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 원 영상 데이터가 보유하고 있는 정보의 손실을 최소화하면서도 효과적인 디노이징을 수행할 수 있는 영상 노이즈 저감 시스템, 및 방법을 제공하는 것을 목적으로 한다.The present invention has been conceived to solve the above-described conventional problem, and an object of the present invention is to provide an image noise reduction system and method capable of effectively denoising while minimizing loss of information held by original image data. do.
상기 목적을 달성하기 위해 본 발명에 따른 영상 노이즈 저감 시스템은, 노이즈 속성 산출부, 디노이징 강도 산출부, 및 디노이징 수행부를 포함한다. 노이즈 속성 산출부는 영상처리에 의해 발생하는 영상 노이즈에 대한 노이즈 변환 속성을 포함하고 영상의 화소 위치에 대응하는 노이즈 속성을 산출하고, 디노이징 강도 산출부는 노이즈 속성에 대응하는 디노이징 강도를 산출하며, 디노이징 수행부는 디노이징 강도에 따라 영상에 대한 디노이징을 수행한다.In order to achieve the above object, the image noise reduction system according to the present invention includes a noise attribute calculating unit, a denoising intensity calculating unit, and a denoising performing unit. The noise attribute calculator includes a noise conversion attribute for image noise generated by image processing and calculates a noise attribute corresponding to a pixel position of the image, and the denoising intensity calculator calculates a denoising intensity corresponding to the noise attribute, The denoising performing unit denoising the image according to the denoising intensity.
이와 같은 구성에 의하면, 영상처리에 의해 변형되는 노이즈의 속성을 결정하고 이를 이용하여 디노이징의 강도를 조정함으로써, 노이즈가 증폭되는 부분에 적응적으로 디노이징 강도를 조절할 수 있어, 원 영상 데이터가 보유하고 있는 정보의 손실을 최소화 할 수 있게 된다.According to this configuration, the denoising intensity can be adaptively adjusted to the part where the noise is amplified by determining the property of noise that is deformed by image processing and using it to adjust the denoising intensity, so that the original image data is It is possible to minimize the loss of information held.
이때, 노이즈 변환 속성은 영상의 전처리에 의해 발생하는 노이즈의 속성인 전처리 변환 속성, 및 영상의 암부 가시화 처리에 의해 발생하는 노이즈의 속성인 가시화 변환 속성을 포함할 수 있다. In this case, the noise conversion property may include a pre-process conversion property, which is a property of noise generated by pre-processing an image, and a visualization conversion property, which is a property of noise generated by a dark part visualization process of the image.
또한, 노이즈 속성은 이미지 센서의 특성에 의해 발생하는 노이즈의 속성인 노이즈 통계 속성, 및 영상에 대한 광량 제어에 의한 발생하는 노이즈의 속성인 동적 노이즈 스케일링 속성을 더 포함할 수 있다. 이와 같은 구성에 의하면, 영상처리를 포함하는 다양한 원인에 의해 발생하는 노이즈에 대한 다중 노이즈 속성을 결정하고 이를 이용하여 디노이징의 강도를 조정함으로써, 원 영상 데이터가 보유하고 있는 정보의 손실을 더욱 최소화 할 수 있게 된다.In addition, the noise property may further include a noise statistics property, which is a property of noise generated by the characteristics of the image sensor, and a dynamic noise scaling property, which is a property of noise generated by controlling the amount of light for an image. According to this configuration, the loss of information held by the original image data is further minimized by determining multiple noise properties for noise caused by various causes including image processing and using this to adjust the intensity of denoising. You can do it.
또한, 디노이징 수행부는 화소 위치에 대응하여 설정된 디노이징 강도의 맵을 이용하여 영상에 대해 디노이징을 수행할 수 있으며, 영상을 서로 다른 디노이징 강도로 각각 디노이징하고 디노이징된 복수의 영상을 화소 위치에 따라 가중합을 수행할 수도 있다. 이와 같은 구성에 의하면, 노이즈 속성에 따라 더욱 적합한 방식을 선택하여 최종 이미지를 결정할 수 있게 된다.In addition, the denoising performing unit can denoise the image using a map of the denoising intensity set corresponding to the pixel position, and denoise the image at different denoising intensity, respectively, and perform a plurality of denoised images. Weighted summation may be performed according to the pixel position. According to this configuration, it is possible to determine a final image by selecting a more suitable method according to the noise property.
아울러, 상기 시스템을 방법의 형태로 구현한 발명과 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 함께 개시된다.In addition, an invention in which the system is implemented in the form of a method and a recording medium storing a computer-readable program for executing the method are disclosed together.
본 발명에 의하면, 영상처리에 의해 발생하는 노이즈의 속성을 결정하고 이를 이용하여 디노이징의 강도를 조정함으로써, 노이즈가 증폭되는 양에 따라 적응적으로 디노이징 강도를 조절할 수 있어, 원 영상 데이터가 보유하고 있는 정보의 손실을 최소화할 수 있게 된다.According to the present invention, by determining the property of noise generated by image processing and using it to adjust the intensity of denoising, the intensity of denoising can be adaptively adjusted according to the amount of noise amplified, so that the original image data is It is possible to minimize the loss of information held.
또한, 영상처리를 포함한 다양한 원인에 의해 발생하는 노이즈에 대한 다중 노이즈 속성을 결정하고 이를 이용하여 디노이징의 강도를 조정함으로써, 원 영상 데이터가 보유하고 있는 정보의 손실을 더욱 최소화 할 수 있게 된다.In addition, it is possible to further minimize the loss of information held by the original image data by determining multiple noise properties for noise generated by various causes including image processing and adjusting the intensity of denoising using this.
또한, 입력 영상의 노이즈 속성에 따라 더욱 적합한 방식을 선택하여 최종 이미지를 결정할 수 있게 된다.In addition, it is possible to determine the final image by selecting a more suitable method according to the noise property of the input image.
또한, 노이즈 속성을 직접적으로 산출하지 않고 간접적으로 이용하여 디노이징을 수행할 수 있게 된다.In addition, it is possible to perform denoising by indirectly using the noise property without directly calculating it.
도 1은 본 발명의 일 실시예에 따른 영상 노이즈 저감 시스템의 개략적인 블록도.
도 2는 도 1의 영상 노이즈 저감 시스템의 구현 예를 도시한 개략적인 블록도.
도 3은 도 1의 영상 노이즈 저감 시스템의 다른 구현 예를 도시한 개략적인 블록도.
도 4와 도 5는 특정 입력 노이즈 레벨에 대한 출력 노이즈의 변환 관계를 도시한 그래프.
도 6 및 도 7은 디노이징 강도를 결정하는 예가 도시된 도면.
도 8은 노이즈 속성을 간접적으로 이용하는 과정의 예가 도시된 도면.
도 9는 종래의 FFDNet의 노이즈 레벨 맵(noise level map)을 이용하여 디노이징 강도에 따라 디노이징(denoising)을 수행하는 과정의 예가 도시된 도면.
도 10은 미리 정해진 디노이징 이미지 세트(denoised image set)를 가중합( weighted sum)하여 최종 이미지를 결정하는 예가 도시된 도면. 1 is a schematic block diagram of an image noise reduction system according to an embodiment of the present invention.
FIG. 2 is a schematic block diagram illustrating an example implementation of the image noise reduction system of FIG. 1.
3 is a schematic block diagram showing another example of implementation of the image noise reduction system of FIG. 1.
4 and 5 are graphs showing a conversion relationship of output noise to a specific input noise level.
6 and 7 are views showing an example of determining the denoising strength.
8 is a diagram illustrating an example of a process of indirectly using a noise attribute.
9 is a diagram illustrating an example of a process of performing denoising according to a denoising intensity using a noise level map of a conventional FFDNet.
10 is a diagram illustrating an example of determining a final image by weighted summation of a predetermined denoised image set.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 영상 노이즈 저감 시스템의 개략적인 블록도이다. 도 1에서, 영상 노이즈 저감 시스템(100)은 노이즈 속성 산출부(110), 디노이징 강도 산출부(120), 및 디노이징 수행부(130)를 포함한다. 1 is a schematic block diagram of an image noise reduction system according to an embodiment of the present invention. In FIG. 1, the image
노이즈 속성 산출부(110)는 영상의 화소 위치에 대응하는 노이즈 속성을 산출한다. 이때, 노이즈 속성은 영상처리에 의해 발생하는 영상 노이즈에 대한 노이즈 변환 속성을 포함할 수 있으며, 이미지 센서의 특성에 의해 발생하는 노이즈의 속성인 노이즈 통계 속성이나, 영상에 대한 광량 제어에 의한 발생하는 노이즈의 속성인 동적 노이즈 스케일링 속성을 더 포함할 수 있다. The
또한, 노이즈 변환 속성은 영상의 전처리에 의해 발생하는 노이즈의 속성인 전처리 변환 속성, 및 영상의 암부 가시화 처리에 의해 발생하는 노이즈의 속성인 가시화 변환 속성을 포함할 수 있다. Further, the noise conversion property may include a pre-process conversion property, which is a property of noise generated by pre-processing an image, and a visualization conversion property, which is a property of noise generated by a dark part visualization process of an image.
보다 구체적으로, 최종 노이즈는 디스플레이된 영상(displayed image)에 포함되어 있는 노이즈로서, 최종 노이즈에 영향을 미치는 노이즈 속성(Noise Attribute)들은 다음과 같이 결정된다. 노이즈 통계 속성(noise statistics attribute)은 이미지 센서(Image sensor)의 노이즈 특성과 센서 노출시간 동안 입사하는 광자의 통계적 분포에 따라 원본 이미지(raw image)의 화소 밝기값(intensity)에 대한 입력 노이즈(input noise)량의 매핑 관계로 결정된다. More specifically, the final noise is noise included in a displayed image, and noise attributes affecting the final noise are determined as follows. The noise statistics attribute is the input noise for the pixel intensity of the raw image according to the noise characteristic of the image sensor and the statistical distribution of incident photons during the sensor exposure time. It is determined by the mapping relationship of the amount of noise).
또한, 동적 노이즈 스케일링 속성(dynamic noise scaling attribute)은 광원 강도(light source intensity)에 따라 계산된 동적 범위(dynamic range)에 따라 원본 이미지에 대한 입력 노이즈(input noise)에 대한 출력 노이즈 스케일링 팩터(output noise scaling factor)가 결정되며, 노이즈 변환 속성(noise transform attribute)은 디노이징 처리 알고리즘을 제외한 영상 처리 알고리즘(image processing algorithm)에 따라 입력 노이즈(input noise)에 대한 출력 노이즈(output noise)의 변환(transform)이 결정된다.In addition, the dynamic noise scaling attribute is an output noise scaling factor for the input noise of the original image according to the dynamic range calculated according to the light source intensity. noise scaling factor) is determined, and the noise transform attribute is converted from output noise to input noise according to image processing algorithms excluding the denoising algorithm. transform) is determined.
노이즈 속성에 대한 산출 방법은 다음과 같다. 노이즈 통계 속성을 계산하는 방법은, 컬러 차트에 포함된 컬러 패치의 촬영 영상을 이용하여 각 패치의 화소 레벨값(pixel intensity)에 대한 노이즈량(noise variance)을 계산하여 화소 레벨에 따른 노이즈량(intensity-dependent noise variance)의 매핑 관계를 산출한다. The calculation method for the noise property is as follows. The method of calculating the noise statistics attribute is to calculate the noise variance for the pixel intensity of each patch using the captured image of the color patch included in the color chart, and the amount of noise according to the pixel level ( Intensity-dependent noise variance) mapping relationship is calculated.
동적 노이즈 스케일링 속성을 계산하는 방법은, 이미지 센서에서 출력되는 원본 이미지(raw image)로부터 디스플레이를 위한 동적 영역(dynamic range)을 결정하는 window 값은 컴퓨터가 자동으로 계산하므로 이를 이용하여, window의 스케일링 값에 비례하게 노이즈 분산의 스케일링 값을 산출한다. The method of calculating the dynamic noise scaling property is that the window value that determines the dynamic range for display from the raw image output from the image sensor is automatically calculated by the computer. Calculate the scaling value of the noise variance in proportion to the value.
노이즈 변환 속성을 계산하는 방법은, 노이즈가 무시할 만큼 작거나 노이즈가 없는 영상에 가상의 노이즈를 추가하거나 알려진 노이즈가 포함되어 있는 실제 영상을 입력으로 하여 영상처리 알고리즘에 의해 변화한 노이즈를 계산함으로써 영상처리 전후의 노이즈량의 변환 관계를 나타내는 매핑 함수(mapping function)를 결정하거나, 영상처리 알고리즘을 구성하는 수학적 모델에 따라 입력 영상에 따른 출력 영상의 노이즈 변환 관계를 유도하여 산출한다.The noise conversion property is calculated by adding virtual noise to an image with negligible noise or no noise, or by calculating the noise changed by an image processing algorithm by inputting an actual image containing known noise. A mapping function representing the conversion relationship of the amount of noise before and after processing is determined, or a noise conversion relationship of the output image according to the input image is derived and calculated according to a mathematical model constituting the image processing algorithm.
도 2는 도 1의 영상 노이즈 저감 시스템의 구현 예를 도시한 개략적인 블록도이다. 도 2에서 노이즈 속성 산출부(110)는 각각 노이즈 통계 속성, 노이즈 변환 속성, 및 동적 노이즈 스케일링 속성을 산출하는 산출부(112, 114, 116)를 포함하고 있다.FIG. 2 is a schematic block diagram illustrating an implementation example of the image noise reduction system of FIG. 1. In FIG. 2, the noise
또한, 도 2에는, 디노이징 강도 산출부(120)는 노이즈 속성 산출부(110)로부터 전달받은 노이즈 속성 정보를 이용하여 디노이징 강도를 산출하여 디노이징 수행부(130)로 전달하며, 디노이징 수행부(130)는 다시 디노이징을 수행한 결과 정보를 영상 처리부(140)에 포함된 암부 가시화부(142)로 전달하는 구성이 도시되어 있다.In addition, in FIG. 2, the denoising
도 2에서의 디노이징 과정은 이미지 센서의 원본 영상 데이터를 디베이어링 처리부(144), 색상 보정부(146), 디노이징 수행부(130), 암부 가시화부(142)의 순서대로 수행된다. 그러나 디베이어링 처리부(144), 색상 보정부(146), 영상개선 처리부(142), 디노이징 처리부(130)의 수행 순서는 임의로 바꾸어 설정하여 구현될 수 있다.The denoising process in FIG. 2 is performed in the order of the
도 3은 도 1의 영상 노이즈 저감 시스템의 다른 구현 예를 도시한 개략적인 블록도이다. 도 3에서, 영상 노이즈 저감 시스템은, 이미지 센서의 원본(RAW) 영상 데이터를 입력받아, 디베이어링, 컬러 보정, 암부 가시화, 디노이징의 순서로 구현되어 있는 것을 확인할 수 있다.3 is a schematic block diagram showing another example of implementation of the image noise reduction system of FIG. 1. In FIG. 3, it can be seen that the image noise reduction system receives raw image data from an image sensor and is implemented in the order of debayering, color correction, dark part visualization, and denoising.
도 3에서, 디노이징 수행부(130)는 디베이어링 처리부(144), 색상 보정부(146), 및 암부 가시화부(142)를 포함하는 영상 처리부(140)의 전 구성을 통과한 영상에 대해 디노이징을 수행하는 것을 확인할 수 있다.In FIG. 3, the
노이즈 속성 산출부(110)는 이미지 센서의 원본(RAW) 영상 데이터로부터 모니터에 디스플레이되는 영상으로 처리되는 과정에서 각 단계의 노이즈의 특성 변화가 발생하므로, 이 과정에서 발생하는 노이즈 특성 변화를 반영하여 디노이징 강도를 결정하기 위한 구성이다.The noise
최종 영상의 노이즈는 다음과 같은 요인의 영향을 받는다. 먼저, 이미지 센서(Image sensor)와 관련된 노이즈는, 이미지 센서에서 발생하는 고유의 노이즈와 소정의 입사광 노출 시간 동안 검출된 광자의 통계적 분포에 의해 관찰되는 포톤 샷 노이즈(photon shot noise)를 의미한다.The noise of the final image is affected by the following factors. First, noise related to an image sensor refers to a photon shot noise observed by a statistical distribution of photons detected during a predetermined incident light exposure time and inherent noise generated by the image sensor.
영상 처리(Image processing)와 관련된 노이즈는, 전처리(Debayer filter나 color correction matrix 등) 수행 후 원본 영상의 노이즈 특성이 변형되는 것을 의미한다. 이 경우, R, G, B 영상의 노이즈가 서로 상이할 수 있으며, 이는 전처리 알고리즘에 따라 결정된다. Noise related to image processing means that the noise characteristics of the original image are deformed after preprocessing (such as a Debayer filter or a color correction matrix) is performed. In this case, noises of R, G, and B images may be different from each other, and this is determined according to a preprocessing algorithm.
또한, 암부 가시화 알고리즘(Retinex 알고리즘 등 어두운 부분만을 선택적으로 밝기를 개선하는 알고리즘)을 적용하는 경우, 어두운 영역일수록 밝게 영상이 증폭되는 과정에서 노이즈도 함께 증폭되는 경향을 보이는 것도 의미할 수 있다.In addition, when a dark area visualization algorithm (an algorithm that selectively improves brightness only in dark areas such as a Retinex algorithm) is applied, it may mean that noise is also amplified in the process of amplifying an image brighter in a dark area.
한편, 조명의 세기에 따라 이미지 센서에서 출력되는 원본 영상의 히스토그램(histogram) 분포는 다양하게 변화하기 때문에 히스토그램 분포에 기반하여 최적의 디스플레이 윈도우(display window)를 조정할 필요가 있다. On the other hand, since the histogram distribution of the original image output from the image sensor varies according to the intensity of illumination, it is necessary to adjust an optimal display window based on the histogram distribution.
동영상의 경우 포화 픽셀의 수를 제한하고 영상의 정보를 표현하는 동적 영역(dynamic range)을 설정하기 위하여 밝기에 대한 윈도우 값은 각 프레임마다 계산하여 조정된다. 즉, 프레임(frame)마다 디스플레이(display) 영상의 노이즈가 변화하는데, 디스플레이 범위(Display range)와 관련된 노이즈는 이를 의미한다. In the case of a moving picture, a window value for brightness is calculated and adjusted for each frame in order to limit the number of saturated pixels and to set a dynamic range representing information of an image. That is, the noise of the display image changes for each frame, and noise related to the display range means this.
이와 같이 다양한 속성의 노이즈에 대해, 영상 노이즈의 저감을 위해 단순한 노이즈 모델을 이용하거나, 이미지 내 모든 픽셀에 동일한 디노이징 강도를 적용하거나, 모든 프레임에 동일한 디노이징 강도를 적용하는 등의 방법은 디노이징 성능 저하 및 이미지의 왜곡이나 정보 손실을 초래하게 된다. 따라서, 다중 노이즈 속성을 결정하고 이를 이용하여 픽셀의 위치에 따라 프레임마다 디노이징의 강도를 조정할 필요가 있다.For noise of various properties, such as using a simple noise model to reduce image noise, applying the same denoising strength to all pixels in the image, or applying the same denoising strength to all frames, etc. It leads to degradation of easing performance and distortion of the image or loss of information. Accordingly, it is necessary to determine the multiple noise property and use it to adjust the intensity of denoising for each frame according to the position of the pixel.
이에 따라, 노이즈 속성 산출부(110)는, 노이즈 통계 속성(Noise statistics attribute; 이미지 센서 노이즈 속성)의 산출을 위해, 이미지 센서에서 획득한 원본 영상 데이터로부터 영상의 노이즈를 측정하여(예, MacBeth color chart, colorguage chart 등 이용 가능) 화소 강도(pixel intensity)에 따라 변화하는 노이즈 분산값에 해당하는 매핑 함수를 저장한다.Accordingly, the noise
또한, 노이즈 변환 속성(Noise transform attribute; 영상처리 알고리즘에 의한 노이즈 변형 속성)의 산출을 위해, 전처리 (Debayer filter나 color correction matrix 등)수행 후 변환되는 노이즈 특성을 저장한다. 이때, 화소 강도(pixel intensity)에 따른 noise covariance matrix 형태로 저장한다. In addition, in order to calculate the noise transform attribute (noise transform attribute by an image processing algorithm), the transformed noise characteristic after pre-processing (such as a Debayer filter or color correction matrix) is performed. At this time, it is stored in the form of a noise covariance matrix according to pixel intensity.
암부 가시화 알고리즘(Retinex 알고리즘 등)을 적용하는 경우, 강도(intensity)에 따라 노이즈(noise)가 증폭되는 관계를 표현하는 함수를 계산하여 저장한다. 노이즈 변환 속성(Noise transform attribute)의 예시는 도 4 및 도 5와 같다. 도 4과 도 5는 특정 입력 노이즈 레벨에 대한 출력 노이즈의 변환 관계를 도시한 그래프이다.When a dark part visualization algorithm (such as the Retinex algorithm) is applied, a function expressing a relationship in which noise is amplified according to intensity is calculated and stored. Examples of the noise transform attribute are the same as in FIGS. 4 and 5. 4 and 5 are graphs showing a conversion relationship of output noise to a specific input noise level.
이를 계산하는 방법의 예로는, 1) 가상의 전산 모사된 노이즈나 알려진 노이즈 영상을 입력하여 암부 가시화 알고리즘에 의해 변화한 noise를 계산하여 알고리즘 전후의 노이즈 매핑 함수를 결정하거나, 2) 암부 가시화 알고리즘의 수학적 모델에 따라 노이즈 변환 관계를 수학적으로 유도, 계산할 수 있다.An example of a method of calculating this is 1) inputting a virtual computationally simulated noise or a known noise image and calculating the noise changed by the dark area visualization algorithm to determine the noise mapping function before and after the algorithm, or 2) the dark area visualization algorithm. The noise transformation relationship can be mathematically derived and calculated according to the mathematical model.
1)의 구체적인 방법으로서, 암부 가시화 알고리즘이 복잡한 비선형 연산을 포함하고 있거나 알고리즘의 수학적 모델을 통해 노이즈 변환 관계를 직접 유도하기 어려울 때 다음과 같은 방법을 사용할 수 있다.As a specific method of 1), the following method can be used when the dark part visualization algorithm contains complex nonlinear operations or it is difficult to directly derive the noise conversion relationship through the algorithm's mathematical model.
첫째. SVM(support vector machine), random forest 등의 기계학습 방법을 이용하여 훈련(Tranining) 과정에서 입력 화소의 RGB값으로부터 암부 가시화 알고리즘에 의한 노이즈량(표준 편차 또는 분산)을 예측하는 노이즈 변환 예측 모델(Predictive Model)을 계산할 수 있다.first. A noise transformation prediction model that predicts the amount of noise (standard deviation or variance) by the dark part visualization algorithm from the RGB values of the input pixels in the training process using machine learning methods such as SVM (support vector machine) and random forest ( Predictive Model) can be calculated.
이때, 기계학습에 의한 노이즈 변환 예측 모델의 예측 정확도를 개선하기 위해, 기계학습 훈련에 사용되는 입력 데이터로 화소의 RGB 값뿐만 아니라, 해당 화소의 주변 화소의 RGB 정보, 이미지 피라미드 정보, 스케일 이미지 정보 등을 함께 활용 가능하다.At this time, in order to improve the prediction accuracy of the noise conversion prediction model by machine learning, not only the RGB value of the pixel as input data used for machine learning training, but also the RGB information of the surrounding pixels of the pixel, image pyramid information, and scale image information. Can be used together.
둘째, SVM이나 random forest 외에 합성곱 신경망(CNN; convolutional neural network)을 이용할 수도 있다. 합성곱 신경망의 훈련을 위한 입력 데이터로 RGB 이미지 패치를 사용할 수 있고, 출력 데이터는 실제 노이즈량(표준 편차 혹은 분산)을 나타내는 이차원 맵으로 정의할 수 있다.Second, in addition to SVM or random forest, a convolutional neural network (CNN) may be used. An RGB image patch can be used as input data for training a convolutional neural network, and the output data can be defined as a two-dimensional map representing the actual amount of noise (standard deviation or variance).
한편, 기계학습 기법을 활용하면, 노이즈 통계 속성과 노이즈 변환 속성을 한번에 추정하는 방법도 가능하다. 이를 위해, 가상의 노이즈가 포함된 RAW 영상 데이터 또는 알려진 노이즈가 포함된 실제 이미지 센서의 RAW 데이터를 입력으로 하고 영상처리 후 측정되는 영상의 노이즈를 출력으로 하여 예측 모델을 학습하는 regression 과정을 수행할 수 있다.On the other hand, by using machine learning techniques, it is also possible to estimate noise statistics properties and noise conversion properties at once. To this end, a regression process of learning a prediction model is performed by inputting RAW image data including virtual noise or RAW data of an actual image sensor including known noise as an input and outputting the noise of the image measured after image processing. I can.
또한, 노이즈 속성 산출부(110)는 동적 노이즈 스케일링 속성(Dynamic noise scaling attribute; 광량제어 및 이미지 디스플레이를 위한 영상 데이터의 동적 가변 노이즈 스케일링 특성)의 산출을 위해, 윈도우(window) 조정에 따른 SNR의 변화를 고려하여 윈도우(window) 조정 파라미터와 변화된 노이즈의 관계 정보를 함수 파라미터 또는 매핑 테이블 형태로 저장한다. 이 경우, 동적 범위(dynamic range)를 결정하는 윈도우(window) 값은 컴퓨터가 계산하므로 이를 참조하여 계산할 수 있다.In addition, the noise
디노이징 강도 산출부(120)는 노이즈 속성에 대응하여 이를 효과적으로 제거할 수 있는 디노이징 강도를 산출한다. 디노이징 강도 산출부의 기능은 이미지 센서의 노이즈 특성, 암부 가시화 등 영상처리 알고리즘에 의해 변환된 노이즈 특성, 디스플레이 윈도우(display window)에 따라 변화하는 노이즈 스케일링 특성 등 픽셀 위치 및 프레임마다 변화하는 다중 노이즈 속성 데이터를 디노이징 강도(denoising strength) 파라미터로 변환하여 디노이징 알고리즘의 입력으로 전달하는 것이다.The denoising
디노이징 강도(Denoising strength) 결정 방법의 예는 도 6 및 도 7과 같다. 도 6 및 도 7은 디노이징 강도를 결정하는 예가 도시된 도면이다. 도 6에는 신호 세기(input pixel intensity)와 디스플레이 영상에서의 노이즈 N의 비율 R = N/S을 기준으로 R에 비례하게 디노이징 강도(denoising strength)를 결정된 예가 도시되어 있다. 이를 통한 디노이징으로 암부 가시화 적용시 입력 영상의 밝기값에 무관하게 일정한 신호대 잡음비를 기대할 수 있다. 또한, 도 7에는 R 이 특정 이상의 경우에만 디노이징(denoising)을 적용한 예가 도시되어 있다.Examples of a method for determining denoising strength are shown in FIGS. 6 and 7. 6 and 7 are diagrams illustrating an example of determining a denoising strength. 6 shows an example in which the denoising strength is determined in proportion to R based on the ratio R = N/S of the signal intensity and the noise N in the display image. When applying dark part visualization through denoising through this, a constant signal-to-noise ratio can be expected regardless of the brightness value of the input image. In addition, FIG. 7 shows an example in which denoising is applied only when R is more than a specific value.
한편, 노이즈 속성(noise attribute) 데이터를 직접 이용하지 않고 간접적으로 이용하여 디노이징 강도를 결정할 수 있다. 도 8은 노이즈 속성을 간접적으로 이용하여 디노이징 강도를 결정하는 과정의 예가 도시된 도면이다. On the other hand, it is possible to determine the denoising intensity by indirectly using the noise attribute data instead of directly. 8 is a diagram illustrating an example of a process of determining a denoising strength by indirectly using a noise property.
이 실시예에서는 노이즈 속성을 직접 계산하는 대신, 깊은 합성곱 신경망을 이용하여 디노이징 강도를 예측하는 예측 모델을 신경망 훈련을 통해 결정한다. 도 8과 같이 노이즈가 포함된 영상을 입력으로 하고, 합성곱 신경망을 통해 디노이징 강도 파라미터를 계산하고 이를 통해 디노이징을 수행한 후 암부 가시화 처리를 거친 제 1 영상을 계산한다. In this embodiment, instead of directly calculating the noise property, a prediction model that predicts the denoising strength using a deep convolutional neural network is determined through neural network training. As shown in FIG. 8, an image including noise is input, a denoising intensity parameter is calculated through a convolutional neural network, denoising is performed through this, and a first image subjected to a dark part visualization process is calculated.
한편, 노이즈가 포함되지 않거나 무시할 만큼 적은 깨끗한 영상을 입력으로 하고 디노이징을 거치지 않고 동일한 암부 가시화 처리를 거친 제 2 영상을 계산한다. 제 1 영상과 제 2 영상의 화질 평가 기준(image quality metric)을 이용하여 제 1 영상과 제 2 영상이 최대한 유사하도록 하는 loss function을 이용한다. Meanwhile, a clean image that does not contain noise or that is negligible is input as an input, and a second image that has undergone the same dark part visualization process without denoising is calculated. A loss function is used so that the first image and the second image are as similar as possible by using an image quality metric of the first image and the second image.
디노이징 수행부(130)는 디노이징 강도에 따라 영상에 대한 디노이징을 수행한다. 이때, 디노이징 수행부(130)는 화소 위치에 대응하여 설정된 디노이징 강도의 맵을 이용하여 영상에 대해 디노이징을 수행할 수 있다. 도 9는 종래의 FFDNet(K. Zhang, W. Zuo and L. Zhang, "FFDNet: Toward a Fast and Flexible Solution for CNN-Based Image Denoising," in IEEE Transactions on Image Processing, vol. 27, no. 9, pp. 4608-4622, Sept. 2018)을 이용하여 디노이징 강도의 맵을 이용하여 디노이징(denoising)을 수행하는 과정의 예가 도시된 도면이다. The
또한, 디노이징 수행부(130)는 영상을 서로 다른 디노이징 강도로 각각 디노이징하고 디노이징된 복수의 영상을 화소 위치에 따라 가중합을 수행할 수도 있다. 도 10은 미리 정해진 디노이징 이미지 세트(denoised image set)를 가중합( weighted sum)하여 최종 이미지를 결정하는 예가 도시된 도면이다. 이때, 가중 팩터(weighting factor)는 보간법을 이용하여 결정될 수 있다.In addition, the
정리하면, 종래의 영상 디노이징 기술은 단순한 노이즈 모델을 이용하거나, 이미지 내 모든 픽셀에 동일한 디노이징 강도를 적용하거나, 모든 프레임에 동일한 디노이징 강도를 적용하는 데 반해, 본 발명에서는 암부 가시화 알고리즘의 노이즈 변환 특성을 포함한 다중 노이즈 속성을 계산하여 시간(프레임 위치를 의미) 및 공간 위치(이미지 공간을 의미)에 따라 노이즈 강도 파라미터를 적응적으로 가변한다. 따라서, 노이즈가 증폭되는 부분에만 적응적으로 디노이징 강도를 조절할 수 있어, 암부 가시화 알고리즘을 적용하는 경우 원 영상 데이터가 보유하고 있는 정보의 손실을 최소화할 수 있게 된다. In summary, the conventional image denoising technology uses a simple noise model, applies the same denoising intensity to all pixels in an image, or applies the same denoising intensity to all frames, whereas in the present invention, the dark area visualization algorithm The noise intensity parameter is adaptively changed according to time (means frame position) and spatial position (means image space) by calculating multiple noise properties including noise conversion characteristics. Accordingly, it is possible to adaptively adjust the denoising intensity only in the portion where noise is amplified, and thus, when the dark portion visualization algorithm is applied, loss of information held by the original image data can be minimized.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만, 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야할 것이다.Although the present invention has been described by some preferred embodiments, the scope of the present invention should not be limited thereto, and modifications or improvements of the above embodiments supported by the claims should also be reached.
100: 영상 노이즈 저감 시스템
110(112, 114, 116): 노이즈 속성 산출부
120: 디노이징 강도 산출부
130: 디노이징 수행부
140: 영상 처리부
142: 암부 가시화부
144: 디베이어링 처리부
146: 색상 보정부100: image noise reduction system
110 (112, 114, 116): noise attribute calculation unit
120: denoising strength calculation unit
130: denoising execution unit
140: image processing unit
142: dark part visualization part
144: debearing processing unit
146: color correction unit
Claims (15)
상기 노이즈 속성에 대응하는 디노이징 강도를 산출하는 디노이징 강도 산출부; 및
상기 디노이징 강도에 따라 상기 영상에 대한 디노이징을 수행하는 디노이징 수행부를 포함하는 것을 특징으로 하는 영상 노이즈 저감 방법.
A noise attribute calculator that includes a noise conversion attribute for image noise deformed by image processing, and calculates a noise attribute corresponding to a pixel position of the image;
A denoising intensity calculator that calculates a denoising intensity corresponding to the noise attribute; And
And a denoising performing unit performing denoising on the image according to the denoising intensity.
상기 노이즈 변환 속성은 상기 영상의 전처리에 의해 발생하는 노이즈의 속성인 노이즈 변환 속성을 포함하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
The method according to claim 1,
Wherein the noise conversion property includes a noise conversion property, which is a property of noise generated by pre-processing of the video.
상기 노이즈 변환 속성은 상기 영상의 암부 가시화 처리에 의해 발생하는 노이즈의 속성인 노이즈 변환 속성을 포함하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
The method according to claim 1,
The noise conversion property comprises a noise conversion property, which is a property of noise generated by a dark part visualization process of the image.
상기 노이즈 속성은 이미지 센서의 특성에 의해 발생하는 노이즈의 속성인 노이즈 통계 속성을 더 포함하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
The method according to claim 1,
The noise property further comprises a noise statistics property, which is a property of noise generated by the property of the image sensor.
상기 노이즈 속성은 상기 영상에 대한 광량 제어에 의한 발생하는 노이즈의 속성인 동적 노이즈 스케일링 속성을 더 포함하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
The method according to claim 1,
The noise property further comprises a dynamic noise scaling property, which is a property of noise generated by controlling the amount of light on the image.
상기 디노이징 수행부는 상기 화소 위치에 대응하여 설정된 상기 디노이징 강도의 맵을 이용하여 상기 영상에 대해 디노이징을 수행하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
The method according to claim 1,
And the denoising performing unit denoising the image by using a map of the denoising intensity set corresponding to the pixel position.
상기 디노이징 수행부는 상기 영상을 서로 다른 디노이징 강도로 각각 디노이징하고, 디노이징된 복수의 상기 영상을 화소 위치에 따라 가중 합을 수행하는 것을 특징으로 하는 영상 노이즈 저감 시스템.
The method according to claim 1,
Wherein the denoising performing unit denoises the images at different denoising strengths, and performs weighted summation of the denoised images according to pixel positions.
영상처리에 의해 변형되는 영상 노이즈에 대한 노이즈 변환 속성을 포함하고, 영상의 화소 위치에 대응하는 노이즈 속성을 산출하는 노이즈 속성 산출 단계;
상기 노이즈 속성에 대응하는 디노이징 강도를 산출하는 디노이징 강도 산출 단계; 및
상기 디노이징 강도에 따라 상기 영상에 대한 디노이징을 수행하는 디노이징 수행 단계를 포함하는 것을 특징으로 하는 영상 노이즈 저감 방법.
As an image noise reduction method performed by an image noise reduction system,
A noise attribute calculation step of calculating a noise attribute corresponding to a pixel position of the image, including a noise conversion attribute for image noise transformed by image processing;
A denoising intensity calculation step of calculating a denoising intensity corresponding to the noise attribute; And
And a denoising step of denoising the image according to the denoising intensity.
상기 노이즈 변환 속성은 상기 영상의 전처리에 의해 발생하는 노이즈 속성인 노이즈 변환 속성을 포함하는 것을 특징으로 하는 영상 노이즈 저감 방법.
The method of claim 8,
And the noise conversion property includes a noise conversion property, which is a noise property generated by pre-processing of the video.
상기 노이즈 변환 속성은 상기 영상의 암부 가시화 처리에 의해 발생하는 노이즈 속성인 노이즈 변환 속성을 포함하는 것을 특징으로 하는 영상 노이즈 저감 방법.
The method of claim 8,
The noise conversion property comprises a noise conversion property, which is a noise property generated by a dark part visualization process of the image.
상기 노이즈 속성은 이미지 센서의 특성에 의해 발생하는 노이즈 변환 속성인 노이즈 통계 속성을 더 포함하는 것을 특징으로 하는 영상 노이즈 저감 방법.
The method of claim 8,
The noise property further comprises a noise statistics property, which is a noise conversion property generated by a property of an image sensor.
상기 노이즈 속성은 상기 영상에 대한 광량 제어에 의한 발생하는 노이즈 속성인 동적 노이즈 스케일링 속성을 더 포함하는 것을 특징으로 하는 영상 노이즈 저감 방법.
The method of claim 8,
The noise property further comprises a dynamic noise scaling property, which is a noise property generated by controlling the amount of light on the image.
상기 디노이징 수행 단계는 상기 화소 위치에 대응하여 설정된 상기 디노이징 강도의 맵을 이용하여 상기 영상에 대해 디노이징을 수행하는 것을 특징으로 하는 영상 노이즈 저감 방법.
The method of claim 8,
The performing of denoising comprises performing denoising on the image using a map of the denoising intensity set corresponding to the pixel position.
상기 디노이징 수행 단계는 상기 영상을 서로 다른 디노이징 강도로 각각 디노이징하고, 상기 디노이징된 복수의 영상을 화소 위치에 따라 가중합을 수행하는 것을 특징으로 하는 영상 노이즈 저감 방법.
The method of claim 8,
The performing of denoising comprises denoising the images with different denoising strengths, and weighting the denoised images according to pixel positions.
A recording medium storing a computer-readable program for executing the method of any one of claims 8 to 14.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190081286A KR102615125B1 (en) | 2019-07-05 | 2019-07-05 | System and method for denoising image, and a recording medium having computer readable program for executing the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190081286A KR102615125B1 (en) | 2019-07-05 | 2019-07-05 | System and method for denoising image, and a recording medium having computer readable program for executing the method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210004610A true KR20210004610A (en) | 2021-01-13 |
| KR102615125B1 KR102615125B1 (en) | 2023-12-19 |
Family
ID=74142879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190081286A KR102615125B1 (en) | 2019-07-05 | 2019-07-05 | System and method for denoising image, and a recording medium having computer readable program for executing the method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102615125B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005055588A1 (en) * | 2003-12-03 | 2005-06-16 | Nikon Corporation | Image processing device for controlling intensity of noise removal in a screen, image processing program, image processing method, and electronic camera |
| KR20070047557A (en) * | 2005-11-02 | 2007-05-07 | 삼성전자주식회사 | Method and apparatus for reducing noise from image sensor |
| JP2007150441A (en) * | 2005-11-24 | 2007-06-14 | Fujifilm Corp | Device and method for reducing noise |
| JP2010108008A (en) * | 2008-09-30 | 2010-05-13 | Noritsu Koki Co Ltd | Photographic image processing method, program, and device |
| JP2015046678A (en) * | 2013-08-27 | 2015-03-12 | キヤノン株式会社 | Image processing device, image processing method and imaging device |
| KR101727285B1 (en) | 2010-12-28 | 2017-04-14 | 삼성전자주식회사 | Noise filtering method and apparatus considering noise variance and motion detection |
-
2019
- 2019-07-05 KR KR1020190081286A patent/KR102615125B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005055588A1 (en) * | 2003-12-03 | 2005-06-16 | Nikon Corporation | Image processing device for controlling intensity of noise removal in a screen, image processing program, image processing method, and electronic camera |
| KR20070047557A (en) * | 2005-11-02 | 2007-05-07 | 삼성전자주식회사 | Method and apparatus for reducing noise from image sensor |
| JP2007150441A (en) * | 2005-11-24 | 2007-06-14 | Fujifilm Corp | Device and method for reducing noise |
| JP2010108008A (en) * | 2008-09-30 | 2010-05-13 | Noritsu Koki Co Ltd | Photographic image processing method, program, and device |
| KR101727285B1 (en) | 2010-12-28 | 2017-04-14 | 삼성전자주식회사 | Noise filtering method and apparatus considering noise variance and motion detection |
| JP2015046678A (en) * | 2013-08-27 | 2015-03-12 | キヤノン株式会社 | Image processing device, image processing method and imaging device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102615125B1 (en) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liang et al. | Single underwater image enhancement by attenuation map guided color correction and detail preserved dehazing | |
| Hou et al. | An efficient nonlocal variational method with application to underwater image restoration | |
| CN108205804B (en) | Image processing method and device and electronic equipment | |
| CN110706174B (en) | Image enhancement method, terminal equipment and storage medium | |
| CN111986120A (en) | Low-illumination image enhancement optimization method based on frame accumulation and multi-scale Retinex | |
| US8908989B2 (en) | Recursive conditional means image denoising | |
| WO2016139260A9 (en) | Method and system for real-time noise removal and image enhancement of high-dynamic range images | |
| Zhou et al. | Multi-scale retinex-based adaptive gray-scale transformation method for underwater image enhancement | |
| Liu et al. | Single nighttime image dehazing based on image decomposition | |
| Wang et al. | Low-light image joint enhancement optimization algorithm based on frame accumulation and multi-scale Retinex | |
| Muniraj et al. | Underwater image enhancement by color correction and color constancy via Retinex for detail preserving | |
| Wang et al. | Low-light image enhancement based on virtual exposure | |
| Yang et al. | Low-light image enhancement based on Retinex theory and dual-tree complex wavelet transform | |
| Lei et al. | Low-light image enhancement using the cell vibration model | |
| Jeon et al. | Low-light image enhancement using inverted image normalized by atmospheric light | |
| Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion | |
| Pandey et al. | A fast and effective vision enhancement method for single foggy image | |
| Huang et al. | Underwater image enhancement based on color restoration and dual image wavelet fusion | |
| Muniraj et al. | Underwater image enhancement by modified color correction and adaptive Look-Up-Table with edge-preserving filter | |
| Li et al. | Adaptive weighted multiscale retinex for underwater image enhancement | |
| CN111652821A (en) | Low-light-level video image noise reduction processing method, device and equipment based on gradient information | |
| WO2023215371A1 (en) | System and method for perceptually optimized image denoising and restoration | |
| KR102615125B1 (en) | System and method for denoising image, and a recording medium having computer readable program for executing the method | |
| CN116579953A (en) | Self-supervision water surface image enhancement method and related equipment | |
| Adhikari et al. | Image enhancement using successive mean quantization transform and homomorphic filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |