KR20150141259A - Filtering Method based on Image Sensor Noise-Model and Image System using the same - Google Patents
Filtering Method based on Image Sensor Noise-Model and Image System using the same Download PDFInfo
- Publication number
- KR20150141259A KR20150141259A KR1020140069494A KR20140069494A KR20150141259A KR 20150141259 A KR20150141259 A KR 20150141259A KR 1020140069494 A KR1020140069494 A KR 1020140069494A KR 20140069494 A KR20140069494 A KR 20140069494A KR 20150141259 A KR20150141259 A KR 20150141259A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- filter
- filtering
- range
- pixels
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
Abstract
Description
본 발명은 필터링 기술에 관한 것으로, 더욱 상세하게는 카메라의 이미지 센서를 통해 생성한 영상을 필터링하는 방법 및 이를 적용한 영상 시스템에 관한 것이다.
The present invention relates to a filtering technique, and more particularly, to a method of filtering an image generated through an image sensor of a camera and an image system using the filtering method.
필터링 기술은 주변 픽셀과의 가중치 합을 통해서 새로운 컬러 값을 채우거나 노이즈를 제거하는데 이용된다. 이러한 가중치 합을 통해서 컬러 값을 계산하는 방법들은 경계선이나 코너 부근에서 영상을 블러(blur) 시킬 수 있으며, 각 픽셀에 맞는 가중치를 결정하는 것도 매우 어려운 문제 중의 하나이다.The filtering technique is used to fill new color values or remove noise through a weighted sum of neighboring pixels. Methods for calculating color values through such a weighted sum can blur an image in the vicinity of a boundary or a corner, and it is also very difficult to determine a weight for each pixel.
노이즈를 제거하는 과정에서도 주변의 유사한 컬러를 갖는 픽셀들과 합을 취하고 유사하지 않는 컬러를 갖는 픽셀들은 배제를 해야 실제 컬러에 가까운 픽셀의 컬러 값을 결정할 수 있지만, 노이즈가 카메라의 게인이나 픽셀에서의 밝기값(intensity)에 연관이 있기 때문에 유사함의 정도를 계산하는 것이 쉽지 않다.Even in the process of removing noise, it is necessary to exclude pixels having a similar color nearby and pixels having a similar color to determine the color value of a pixel close to the actual color, but when the noise is detected in the gain or pixel of the camera It is not easy to calculate the degree of similarity because it is related to the intensity of the light.
주변 픽셀과의 유사성을 이용하여 필터링하는 양방향 필터는 픽셀들 간 컬러 차이에 따라 가중치를 결정하기 때문에 기존의 필터링 방법들에 비해서 경계선 부분에서 좀 더 효과적인 결과를 얻을 수 있었다.The bidirectional filter, which uses similarity with neighboring pixels, determines the weights according to the color difference between the pixels, so that a more effective result can be obtained at the boundary portion as compared with the conventional filtering methods.
하지만, 이러한 중심 픽셀과 주변 픽셀과의 컬러 차이가 노이즈에 의한 외란 때문에 결정하기가 쉽지 않고, 이러한 노이즈가 카메라의 파라미터에 따라 달라지기 때문에, 기존의 필터링 방법으로는 노이즈를 고려한 정확한 필터링을 할 수 없게 된다.
However, it is not easy to determine the color difference between the center pixel and the surrounding pixels due to the disturbance due to the noise, and since the noise varies depending on the parameters of the camera, the conventional filtering method can perform accurate filtering considering the noise I will not.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 카메라의 물리적 특성상 존재할 수 밖에 없는 이미지 센서 노이즈를 직접적으로 이용해서 필터링을 수행하는 방법 및 이를 적용한 영상 시스템을 제공함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method of directly performing filtering using an image sensor noise which is inevitably due to the physical characteristics of a camera and a video system using the method have.
또한, 본 발명의 다른 목적은, 노이즈 모델 기반 양방향 필터를 이용하여 노이즈 제거, 해상도 변환, 디모자이킹, 노이즈 제거-디모자이킹 협업 등을 처리하는 방법 및 이를 적용한 영상 시스템을 제공함에 있다.
It is another object of the present invention to provide a method for processing noise removal, resolution conversion, demosaicing, noise removal-demosaicing, and the like using a noise model-based bidirectional filter and a video system using the same.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 필터링 방법은, 영상을 입력받는 단계; 필터를 이용하여 입력된 영상을 처리하는 단계; 및 처리된 영상을 출력하는 단계;를 포함하고, 상기 필터는, 공간 필터(Spatial Filter)와 레인지 필터(Range Filter)를 포함하며, 상기 레인지 필터는, 특정 범위에 포함되는 픽셀에 대해서는 적용되고, 특정 범위를 벗어나는 픽셀에 대해서는 적용되지 않는다.According to an aspect of the present invention, there is provided a filtering method comprising: inputting an image; Processing an input image using a filter; And outputting the processed image, wherein the filter includes a spatial filter and a range filter, and the range filter is applied to pixels included in a specific range, It does not apply to pixels outside the specified range.
그리고, 상기 레인지 필터는, 특정 픽셀과 픽셀 값 차이가, 상기 특정 범위에 포함되는 픽셀에 대해서는 적용되고, 상기 특정 범위를 벗어나는 픽셀에 대해서는 적용되지 않을 수 있다.The range filter may be applied to a pixel included in the specific range in which a difference between a specific pixel and a pixel value is included, and may not be applied to a pixel that falls outside the specific range.
또한, 상기 특정 범위는, 카메라의 파라미터에 의해 결정될 수 있다.Further, the specific range may be determined by parameters of the camera.
그리고, 상기 카메라의 파라미터는, 게인(gain)과 셔터 속도(shutter speed) 중 적어도 하나를 포함할 수 있다.The parameters of the camera may include at least one of a gain and a shutter speed.
또한, 상기 처리 단계는, 상기 입력된 영상을 상기 필터로 필터링하여, 상기 영상에서 노이즈를 제거할 수 있다.In the processing, the input image may be filtered by the filter to remove noise from the image.
그리고, 본 발명의 일 실시예에 따른, 필터링 방법은, 다수의 영상들에 대한 평균 영상을 기준 영상으로 사용하여, 상기 입력된 영상에 대한 노이즈 제거 성능을 평가하는 단계;를 더 포함할 수 있다.The filtering method according to an exemplary embodiment of the present invention may further include evaluating noise elimination performance of the input image using an average image of a plurality of images as a reference image .
또한, 상기 처리 단계는, 상기 입력된 영상에서 센서 출력 픽셀들을 이용하여, 주변 픽셀들을 인터폴레이션 하는 단계; 및 인터폴레이션된 영상을 상기 필터로 필터링하는 단계;를 포함할 수 있다.The processing may further include: interpolating neighboring pixels using sensor output pixels in the input image; And filtering the interpolated image with the filter.
그리고, 상기 처리 단계는, 필터링된 영상에서 상기 센서 출력 픽셀들을 상기 필터로 다시 필터링하는 단계; 및 필터링된 영상을 상기 필터로 다시 필터링하는 단계;를 더 포함할 수 있다.The processing may further include filtering the sensor output pixels back to the filter in the filtered image; And filtering the filtered image again with the filter.
또한, 상기 처리 단계는, 상기 영상을 업-샘플링, 다운-샘플링 또는 초-해상도(Super-resolution) 변환하는 단계; 및 변환된 영상을 상기 필터로 필터링하는 단계;를 포함할 수 있다.The processing may further include: up-sampling, down-sampling, or super-resolution converting the image; And filtering the transformed image with the filter.
한편, 본 발명의 다른 실시예에 따른, 영상 시스템은, 영상을 입력받는 입력부; 필터를 이용하여 입력된 영상을 처리하는 처리부; 및 처리된 영상을 출력하는 출력부;를 포함하고, 상기 필터는, 공간 필터(Spatial Filter)와 레인지 필터(Range Filter)를 포함하며, 상기 레인지 필터는, 특정 범위에 포함되는 픽셀에 대해서는 적용되고, 특정 범위를 벗어나는 픽셀에 대해서는 적용되지 않는다.
According to another aspect of the present invention, an image system includes an input unit for inputting an image; A processor for processing an input image using a filter; And an output unit for outputting the processed image, wherein the filter includes a spatial filter and a range filter, and the range filter is applied to pixels included in a specific range , But not for pixels outside the specified range.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 카메라의 파라미터인 게인과 셔터 속도의 변화나 촬영하고 있는 장면 변화, 조명 변화 등에 강인하게 필터링을 수행할 수 있다.As described above, according to the embodiments of the present invention, it is possible to perform robust filtering such as a change in gain and shutter speed, which are parameters of a camera, a change in a shooting scene, and a change in illumination.
또한, 본 발명의 실시예들에 따르면, 기존의 디모자이킹과 노이즈 제거를 각각 적용하는 카메라 프로세싱에 비해서, 노이즈 제거를 통해 디모자이킹을 정확하게 할 수 있고, 디모자이킹을 통해 다시 노이즈 제거를 할 수 있는, 서로 상보적인 디모자이킹 및 노이즈 제거를 수행할 수 있다. In addition, according to the embodiments of the present invention, compared to the conventional camera processing for applying demosaicing and noise removal, it is possible to accurately perform demosaicing through noise cancellation, and to remove noise again through demosaicing Can perform mutually complementary demosaicing and noise cancellation.
기존의 노이즈 제거 방법은 임의의 영상에 노이즈를 입히고 그 노이즈를 제거하는 방법을 주로 제안하였는데, 본 발명의 실시예는 카메라에서 영상이 획득될 때 발생하는 이미지 센서 노이즈를 제거하는 방법이며, 이는 노이즈 제거 뿐만 아니라 디모자이킹, 업-샘플링, 다운-샘플링과 같은 다양한 기존의 필터링 방법에 적용될 수 있어, 다양한 응용이 가능하다는 장점이 있다.
The conventional noise cancellation method mainly proposed a method of applying noise to an arbitrary image and eliminating the noise. The embodiment of the present invention is a method of eliminating image sensor noise generated when an image is acquired from a camera, The present invention can be applied to various conventional filtering methods such as demosaicing, up-sampling, and down-sampling in addition to the above-described filtering.
도 1은 공간 필터를 예시한 도면,
도 2는 레인지 필터를 예시한 도면,
도 3은 입력 영상(a)과 노이즈 모델 기반 양방향 필터를 이용하여 필터링한 영상(b)을 나타낸 도면,
도 4는 노이즈 모델 기반 양방향 필터를 이용한 디모자이킹 과정을 도시한 도면,
도 5는 양방향 인터폴레이션의 개념 설명에 제공되는 도면,
도 6은 노이즈 제거-디모자이킹 협업 처리의 개념 설명에 제공되는 도면, 그리고,
도 7은 본 발명이 적용가능한 영상 시스템의 블럭도이다.Figure 1 illustrates a spatial filter,
2 is a diagram illustrating a range filter,
FIG. 3 is a diagram illustrating an image b filtered using an input image a and a noise model-based bidirectional filter,
4 is a diagram illustrating a demosaicing process using a noise model-based bidirectional filter,
FIG. 5 is a block diagram illustrating the concept of bidirectional interpolation,
6 is a diagram provided in a conceptual description of a noise canceling-demosaicing collaboration process, and FIG.
7 is a block diagram of an image system to which the present invention is applicable.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
Hereinafter, the present invention will be described in detail with reference to the drawings.
1. 필터링 방법1. Filtering method
본 발명의 실시예에 따른 필터링 방법은, 카메라의 이미지 센서 노이즈 모델에 기반한 필터링 기법을 활용한다. 구체적으로, 필터링을 수행할 때, 1) 노이즈에 의한 변화만큼의 또는 그 미만의 차이를 갖는 픽셀들은 같은 컬러 값을 갖는다고 가정하여 필터링에 포함시키는 반면, 2) 노이즈에 의한 변화보다 큰 차이를 갖는 픽셀들은 서로 다른 컬러 값을 갖는다고 가정하여 필터링에 포함시키지 않는다.A filtering method according to an embodiment of the present invention utilizes a filtering technique based on an image sensor noise model of a camera. Specifically, when filtering is performed, 1) pixels having a difference of less than or equal to the variation due to noise are included in filtering assuming that they have the same color value, while 2) a difference larger than the variation due to noise Pixels are assumed to have different color values and are not included in the filtering.
즉, 본 실시예에 따른 필터링 방법은, 필터링을 수행할 때, 카메라의 이미지 센서 노이즈 모델에 기반하여, 두 픽셀 간의 컬러 차이가 노이즈에 의해서 생긴 것인지, 아니면 영상에서의 실제 컬러 변화에 의해서 생긴 것이지를 고려하여, 필터링을 수행한다고 할 수 있다.
That is, the filtering method according to the present embodiment is based on the image sensor noise model of the camera when performing the filtering, in which the color difference between the two pixels is caused by the noise or the actual color change in the image , Filtering may be performed.
2. 양방향 필터2. Bidirectional filter
본 실시예에 따른 필터링 방법에서 사용하는 노이즈 모델 기반 양방향 필터(Noise-Model based Bilateral Filter)를 아래의 수학식 1에 나타내었다.The noise model-based bilateral filter used in the filtering method according to the present embodiment is shown in Equation (1) below.
위 수학식 1을 통해 알 수 있는 바와 같이, 본 실시예에 따른 필터링 방법에서 사용하는 양방향 필터는, 공간 필터(Spatial Filter)와 레인지 필터(Range Filter)를 포함한다.As can be seen from Equation (1), the bidirectional filter used in the filtering method according to the present embodiment includes a spatial filter and a range filter.
공간 필터는 특정 픽셀로부터의 거리에 따라 가중치가 결정되는 필터이다. 공간 필터는, 도 1에 도시된 바와 같이, 필터-윈도우 상의 중앙 픽셀로부터의 거리가 가까울수록 가중치가 큰 가우시안 필터(Gaussian Filter)로 구현가능하지만, 반드시 그러한 것은 아니다. 다른 종류의 필터로 구현하는 것도 가능하다.A spatial filter is a filter whose weight is determined by the distance from a specific pixel. As shown in FIG. 1, the spatial filter can be implemented with a weighted Gaussian filter as the distance from the central pixel on the filter-window is closer, but this is not necessarily the case. It is also possible to implement other kinds of filters.
레인지 필터(Range Filter)는 특정 픽셀과의 픽셀 값 차이에 따라 가중치가 결정되는 필터이다. 본 실시예에 적용가능한 레인지 필터를 아래의 수학식 2에 나타내었다.A range filter is a filter whose weights are determined according to the pixel value difference with a specific pixel. A range filter applicable to the present embodiment is shown in the following Equation (2).
도 2에는 수학식 2에 나타난 레인지 필터를 도시하였다. 도 2에서 μ는 필터-윈도우 상의 중앙 픽셀과의 픽셀 값 차이를 나타내는 파라미터이며, 주로 스켈람 분포(Skellam distribution)이나 쁘아송 분포(poisson distribution)에서의 μ를 의미한다. 도시된 바와 같이, 레인지 필터는, 특정 범위에 포함되는 픽셀(도 2에서 중앙의 Nonrejection Region에 포함되는 픽셀)에 대해서는 필터링을 적용하고, 특정 범위를 벗어나는 픽셀(도 2에서 양측의 Rejection Region에 포함되는 픽셀)에 대해서는 필터링을 적용하지 않는다.FIG. 2 shows the range filter shown in Equation (2). In Fig. 2, [mu] is a parameter indicating the difference in pixel value from the center pixel on the filter window, and mainly refers to the Skellam distribution or the μ in the poisson distribution. As shown, the range filter applies filtering to pixels included in a specific range (pixels included in the central nonrejection region in FIG. 2), and applies the filtering to the pixels outside the specific range Pixels) are not subjected to filtering.
레인지 필터의 "Nonrejection Region"과 "Rejection Region"의 경계를 결정하는 임계값(Critical Value)은 카메라 파라미터에 따라 가변적이다. 여기서, 카메라 파라미터는, 게인(gain : ISO 감도)과 셔터 속도(shutter speed)를 포함한다.The critical value for determining the boundary between the "Nonrejection Region" and the "Rejection Region" of the range filter is variable according to the camera parameters. Here, the camera parameters include a gain (ISO sensitivity) and a shutter speed.
카메라 파라미터로부터 임계값을 결정하는 함수는, 특정 함수로 제한되는 것은 아니며, 영상과 카메라의 사양에 따라 적절하게 구현할 수 있음은 물론이다. 또한, 게인과 셔터 속도는 카메라 파라미터의 예시로, 그 밖의 다른 카메라 파라미터로 대체되거나, 다른 카메라 파라미터를 추가하는 것이 가능하다.
The function for determining the threshold value from the camera parameters is not limited to a specific function, and may be suitably implemented according to specifications of the image and the camera. In addition, the gain and shutter speed are examples of camera parameters, it is possible to replace them with other camera parameters, or to add other camera parameters.
3. 필터링 응용3. Filtering application
이하에서는, 위에서 제시한 노이즈 모델 기반 양방향 필터를 이용하여 영상을 처리하는 응용들에 대해, 구체적인 예들을 들어 상세히 설명한다.
Hereinafter, the applications for processing images using the above-described noise model-based bidirectional filter will be described in detail with concrete examples.
3.1. 노이즈 제거(Denoising)3.1. Denoising
위에서 제시한 노이즈 모델 기반 양방향 필터로 입력 영상을 필터링 하여, 영상에서 노이즈를 제거할 수 있다.By using the noise model based bidirectional filter described above, the input image can be filtered to remove noise from the image.
일반적인 노이즈 제거 방법은 가우시안 커널을 통해 영상의 모든 영역을 평탄화하는 방법으로 수행되지만, 노이즈 모델 기반 양방향 필터를 이용하게 되면, 이미지 센서 노이즈에 의한 밝기의 변화 범위 안에 있다면 영상을 평탄화 시키지 않음으로써 상세한 경계를 찾을 수 있을 뿐만 아니라 영상에서의 노이즈도 효과적으로 경감시킬 수 있다.The general noise removal method is performed by flattening all areas of the image through the Gaussian kernel. However, if the noise model based bidirectional filter is used, if the image sensor noise is within the range of brightness variation, the image is not flattened, It is possible to effectively reduce the noise in the image.
도 3에는, 입력 영상(a)과 노이즈 모델 기반 양방향 필터를 이용하여 입력 영상을 필터링한 영상(b)을 나타내었다.
FIG. 3 shows an image (b) obtained by filtering an input image using an input image (a) and a noise model-based bidirectional filter.
3.2. 해상도 변환3.2. Resolution conversion
입력 영상의 해상도 변환 시에, 위에서 제시한 노이즈 모델 기반 양방향 필터를 이용할 수 있다.When converting the resolution of the input image, the above-described noise model-based bidirectional filter can be used.
구체적으로, 입력 영상을 업-샘플링, 다운-샘플링 또는 초-해상도(Super-resolution) 변환한 후에, 변환된 영상을 노이즈 모델 기반 양방향 필터로 필터링하여 마무리할 수 있다.
Specifically, after the input image is up-sampled, down-sampled, or super-resolution converted, the converted image may be filtered by a noise model-based bidirectional filter.
3.3. 디모자이킹(Demosaicing)3.3. Demosaicing
입력 영상의 디모자이킹 시에, 위에서 제시한 노이즈 모델 기반 양방향 필터를 이용할 수 있다. 디모자이킹은 RAW 영상으로부터 RGB 영상을 만드는 영상 처리이다.When demosaicing an input image, we can use the noise model based bidirectional filter presented above. Demosaicing is an image processing that creates RGB images from RAW images.
즉, 디모자이킹은 CFA(Color Filter Array)로 구성된 이미지 센서의 출력을 컬러 이미지로 변환하는 것이며, 도 4에는 노이즈 모델 기반 양방향 필터를 이용한 디모자이킹 과정이 도시되어 있다.That is, the demosaicing converts an output of an image sensor composed of CFA (color filter array) into a color image, and FIG. 4 shows a demosaicing process using a noise model-based bidirectional filter.
도 4에서 입력되는 Bayer pattern은, 정해진 위치에 R,G,B중 하나의 값만을 가지고 있으므로, 빈 픽셀들을 채우기 위해, 도 5에 도시된 바와 같이 주변 픽셀들을 이용한 양방향 인터폴레이션(Bilinear Interpolation)이 필요하다. 양방향 인터폴레이션은 Bayer pattern에서 RGB 각 채널별 위치의 가중치에 의한 평균값으로 정보가 없는 부분을 채워 넣는 방식이다.Since the Bayer pattern input in FIG. 4 has only one of R, G, and B at a predetermined position, bilinear interpolation using neighboring pixels is required to fill in empty pixels as shown in FIG. Do. Bidirectional interpolation is a method of filling in the information-free part by the average value by the weight of the position of each RGB in the Bayer pattern.
그리고, 양방향 인터폴레이션이 완료된 영상에 대해, 노이즈 모델 기반 양방향 필터로 필터링하여 마무리한다.
Then, the bi-directionally interpolated image is filtered by the bidirectional filter based on the noise model and finished.
3.4. 노이즈 제거-디모자이킹 협업 3.4. Noise Reduction - Demosaiking Collaboration
도 6에 도시된 바와 같이, 전술한 디모자이킹과 노이즈 제거를 Expectation-maximization Framework에 적용하여 반복적으로 수행해서, 추가할 픽셀 값들을 정확히 찾으면서도 노이즈를 효과적으로 제거하는 것이 가능하다.As shown in FIG. 6, it is possible to effectively remove noise while accurately searching for pixel values to be added by repeatedly applying the demosaicing and noise elimination described above to the Expectation-maximization Framework.
구체적으로, 전술한 "3.3"에 의해 디모자이킹이 완료된 영상에서 센서 출력 픽셀들만 노이즈 모델 기반 양방향 필터로 다시 필터링하고, 필터링된 영상 전체를 노이즈 모델 기반 양방향 필터로 다시 필터링하여, 노이즈 제거와 디모자이킹을 한 번 더 반복하는 것이다.More specifically, only the sensor output pixels are filtered again by the noise model-based bidirectional filter in the demojicked image by the above-mentioned "3.3 ", and the entire filtered image is filtered again by the noise model-based bidirectional filter, Repeat the jigging once more.
반복 횟수에 대한 제한은 없다. 센서 출력 픽셀들의 필셀 값들이 필터링에 의해서도 변화하지 않을 때까지 반복하는 것이 가능하지만, 그 이전에 그치는 것도 가능하다.
There is no restriction on the number of repetition. It is possible to repeat until the pixel values of the sensor output pixels do not change by filtering, but it is also possible to stop before.
4. 영상 시스템4. Video System
도 7은 본 발명이 적용가능한 영상 시스템의 블럭도이다. 도 7에 도시된 바와 같이, 본 발명이 적용가능한 영상 시스템은, 영상 입력부(110), 영상 처리부(120), 영상 출력부(130) 및 성능 평가부(140)를 포함한다.7 is a block diagram of an image system to which the present invention is applicable. 7, the image system to which the present invention can be applied includes an
영상 입력부(110)는 영상을 입력받아 필요한 전처리를 수행한 후 영상 처리부(120)에 전달한다. 영상 입력부(110)에 입력되는 영상은 카메라의 이미지 센서에서 생성된 영상, 저장매체로부터 읽어들인 영상, 외부기기나 네트워크로부터 수신한 영상일 수 있다.The
영상 처리부(120)는 양방향 필터(125)를 이용하여 전술한 영상 처리들을 수행한다. 양방향 필터(125)는 전술한 노이즈 모델 기반 양방향 필터이고, 영상 처리들은, 노이즈 제거, 영상 변환, 디모자이킹, 노이즈 제거-디모자이킹 협업 등을 의미한다.The
영상 출력부(130)는 영상 처리부(120)에서 영상 처리가 완료된 영상을 출력하는 수단이다.The
성능 평가부(140)는 영상 출력부(130)에서 출력된 영상과 기준 영상을 비교하여, 영상 처리부(120)에 의한 영상 처리 성능을 비교하기 위한 수단이다. 예를 들어, 노이즈 제거 성능 판단을 위해, 성능 평가부(140)는 다수의 영상들에 대한 평균 영상을 기준 영상(ground truth)으로 생성하여 사용할 수 있다.The
본 발명이 적용가능한 영상 시스템에 대한 제한은 없다. 카메라, TV, 모바일 폰 등은 물론, 그 밖의 다른 영상 시스템에 대해서도, 본 발명의 기술적 사상이 적용될 수 있다.
There is no limitation to the imaging system to which the present invention is applicable. The technical idea of the present invention can be applied not only to a camera, a TV, a mobile phone, and other imaging systems.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.
110 : 영상 입력부
120 : 영상 처리부
125 : 양방향 필터
130 : 영상 출력부
140 : 성능 평가부110:
120:
125: Bidirectional filter
130: Video output unit
140: Performance evaluation unit
Claims (10)
필터를 이용하여 입력된 영상을 처리하는 단계; 및
처리된 영상을 출력하는 단계;를 포함하고,
상기 필터는, 공간 필터(Spatial Filter)와 레인지 필터(Range Filter)를 포함하며,
상기 레인지 필터는, 특정 범위에 포함되는 픽셀에 대해서는 적용되고, 특정 범위를 벗어나는 픽셀에 대해서는 적용되지 않는 것을 특징으로 하는 필터링 방법.
Receiving an image;
Processing an input image using a filter; And
And outputting the processed image,
The filter includes a spatial filter and a range filter,
Wherein the range filter is applied to pixels included in a specific range and not to pixels falling outside a specific range.
상기 레인지 필터는,
특정 픽셀과 픽셀 값 차이가, 상기 특정 범위에 포함되는 픽셀에 대해서는 적용되고, 상기 특정 범위를 벗어나는 픽셀에 대해서는 적용되지 않는 것을 특징으로 하는 필터링 방법.
The method according to claim 1,
The range filter includes:
Wherein a difference between a pixel and a pixel value is applied to a pixel included in the specific range and not to a pixel that falls outside the specified range.
상기 특정 범위는,
카메라의 파라미터에 의해 결정되는 것을 특징으로 하는 필터링 방법.
3. The method of claim 2,
The above-
Wherein the filtering is determined by a parameter of the camera.
상기 카메라의 파라미터는, 게인(gain)과 셔터 속도(shutter speed) 중 적어도 하나를 포함하는 것을 특징으로 하는 필터링 방법.
The method of claim 3,
Wherein the parameters of the camera include at least one of a gain and a shutter speed.
상기 처리 단계는,
상기 입력된 영상을 상기 필터로 필터링하여, 상기 영상에서 노이즈를 제거하는 것을 특징으로 하는 필터링 방법.
The method according to claim 1,
Wherein the processing step comprises:
And filtering the input image with the filter to remove noise from the image.
다수의 영상들에 대한 평균 영상을 기준 영상으로 사용하여, 상기 입력된 영상에 대한 노이즈 제거 성능을 평가하는 단계;를 더 포함하는 것을 특징으로 하는 필터링 방법.
6. The method of claim 5,
And estimating a noise removal performance of the input image using an average image of a plurality of images as a reference image.
상기 처리 단계는,
상기 입력된 영상에서 센서 출력 픽셀들을 이용하여, 주변 픽셀들을 인터폴레이션 하는 단계; 및
인터폴레이션된 영상을 상기 필터로 필터링하는 단계;를 포함하는 것을 특징으로 하는 필터링 방법.
The method according to claim 1,
Wherein the processing step comprises:
Interpolating surrounding pixels using sensor output pixels in the input image; And
And filtering the interpolated image with the filter.
상기 처리 단계는,
필터링된 영상에서 상기 센서 출력 픽셀들을 상기 필터로 다시 필터링하는 단계; 및
필터링된 영상을 상기 필터로 다시 필터링하는 단계;를 더 포함하는 것을 특징으로 하는 필터링 방법.
8. The method of claim 7,
Wherein the processing step comprises:
Filtering the sensor output pixels back to the filter in the filtered image; And
Filtering the filtered image again with the filter. ≪ Desc / Clms Page number 20 >
상기 처리 단계는,
상기 영상을 업-샘플링, 다운-샘플링 또는 초-해상도(Super-resolution) 변환하는 단계; 및
변환된 영상을 상기 필터로 필터링하는 단계;를 포함하는 것을 특징으로 하는 필터링 방법.
The method according to claim 1,
Wherein the processing step comprises:
Up-sampling, down-sampling, or super-resolution conversion of the image; And
And filtering the transformed image with the filter.
필터를 이용하여 입력된 영상을 처리하는 처리부; 및
처리된 영상을 출력하는 출력부;를 포함하고,
상기 필터는, 공간 필터(Spatial Filter)와 레인지 필터(Range Filter)를 포함하며,
상기 레인지 필터는, 특정 범위에 포함되는 픽셀에 대해서는 적용되고, 특정 범위를 벗어나는 픽셀에 대해서는 적용되지 않는 것을 특징으로 하는 영상 시스템.
An input unit for inputting an image;
A processor for processing an input image using a filter; And
And an output unit for outputting the processed image,
The filter includes a spatial filter and a range filter,
Wherein the range filter is applied to pixels included in a specific range and not to pixels falling outside a specific range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140069494A KR101585963B1 (en) | 2014-06-09 | 2014-06-09 | Filtering Method based on Image Sensor Noise-Model and Image System using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140069494A KR101585963B1 (en) | 2014-06-09 | 2014-06-09 | Filtering Method based on Image Sensor Noise-Model and Image System using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150141259A true KR20150141259A (en) | 2015-12-18 |
| KR101585963B1 KR101585963B1 (en) | 2016-01-20 |
Family
ID=55081194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140069494A KR101585963B1 (en) | 2014-06-09 | 2014-06-09 | Filtering Method based on Image Sensor Noise-Model and Image System using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101585963B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819733A (en) * | 2021-01-29 | 2021-05-18 | 成都国科微电子有限公司 | Directional bilateral image filtering method and device |
| WO2021107482A1 (en) * | 2019-11-29 | 2021-06-03 | 한국전자기술연구원 | Method and device for modeling noise in tof camera image using skellam distribution |
| CN116896689A (en) * | 2023-09-11 | 2023-10-17 | 归芯科技(深圳)有限公司 | Bayer image processing method and device and electronic equipment |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110048922A (en) * | 2009-11-03 | 2011-05-12 | 삼성전자주식회사 | Method of modeling integrated noise and method of reducing noises in image sensors |
| KR20120103878A (en) * | 2011-03-11 | 2012-09-20 | 이화여자대학교 산학협력단 | Method for removing noise in image |
-
2014
- 2014-06-09 KR KR1020140069494A patent/KR101585963B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110048922A (en) * | 2009-11-03 | 2011-05-12 | 삼성전자주식회사 | Method of modeling integrated noise and method of reducing noises in image sensors |
| KR20120103878A (en) * | 2011-03-11 | 2012-09-20 | 이화여자대학교 산학협력단 | Method for removing noise in image |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021107482A1 (en) * | 2019-11-29 | 2021-06-03 | 한국전자기술연구원 | Method and device for modeling noise in tof camera image using skellam distribution |
| CN112819733A (en) * | 2021-01-29 | 2021-05-18 | 成都国科微电子有限公司 | Directional bilateral image filtering method and device |
| CN112819733B (en) * | 2021-01-29 | 2024-04-16 | 成都国科微电子有限公司 | Directional bilateral image filtering method and device |
| CN116896689A (en) * | 2023-09-11 | 2023-10-17 | 归芯科技(深圳)有限公司 | Bayer image processing method and device and electronic equipment |
| CN116896689B (en) * | 2023-09-11 | 2024-01-12 | 归芯科技(深圳)有限公司 | Bayer image processing method and device and electronic equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101585963B1 (en) | 2016-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108694705B (en) | Multi-frame image registration and fusion denoising method | |
| KR101612165B1 (en) | Method for producing super-resolution images and nonlinear digital filter for implementing same | |
| KR100911890B1 (en) | Method, system, program modules and computer program product for restoration of color components in an image model | |
| US9445022B2 (en) | Image processing apparatus and image processing method, and program | |
| US11600025B2 (en) | Image processing method, image processing apparatus, image processing system, and learnt model manufacturing method | |
| US8253825B2 (en) | Image data processing method by reducing image noise, and camera integrating means for implementing said method | |
| EP2297939B1 (en) | Method and apparatus for motion blur and ghosting prevention in imaging system | |
| TWI542223B (en) | Noise reduced color image using panchromatic image | |
| EP3783564A1 (en) | Image processing method, computer readable storage medium, and electronic device | |
| US9324153B2 (en) | Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program | |
| KR101664123B1 (en) | Apparatus and method of creating high dynamic range image empty ghost image by using filtering | |
| KR101735025B1 (en) | Method, device, and system for pre-processing a video stream for subsequent motion detection processing | |
| JP2015225665A (en) | Image noise removal method and image noise removal device | |
| KR101578583B1 (en) | Image processing apparatus, information processing method, and computer-readable storage medium | |
| WO2014070273A1 (en) | Recursive conditional means image denoising | |
| US9280811B2 (en) | Multi-scale large radius edge-preserving low-pass filtering | |
| CN107784631B (en) | Image deblurring method and device | |
| KR20210090159A (en) | Methods and related devices for generating super-resolution images | |
| KR101585963B1 (en) | Filtering Method based on Image Sensor Noise-Model and Image System using the same | |
| KR20170107269A (en) | Apparatus and method for depth image filtering of rgbd camera | |
| KR101262164B1 (en) | Method for generating high resolution depth image from low resolution depth image, and medium recording the same | |
| CN112419161B (en) | Image processing method and device, storage medium and electronic equipment | |
| JP6682184B2 (en) | Image processing method, image processing program, image processing device, and imaging device | |
| JP6938282B2 (en) | Image processing equipment, image processing methods and programs | |
| US9275446B2 (en) | Large radius edge-preserving low-pass filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190107 Year of fee payment: 4 |