KR20110090068A - Apparatus and method for reducing motion compensation noise of image - Google Patents

Apparatus and method for reducing motion compensation noise of image Download PDF

Info

Publication number
KR20110090068A
KR20110090068A KR1020100009645A KR20100009645A KR20110090068A KR 20110090068 A KR20110090068 A KR 20110090068A KR 1020100009645 A KR1020100009645 A KR 1020100009645A KR 20100009645 A KR20100009645 A KR 20100009645A KR 20110090068 A KR20110090068 A KR 20110090068A
Authority
KR
South Korea
Prior art keywords
noise
image
images
noise removing
removing means
Prior art date
Application number
KR1020100009645A
Other languages
Korean (ko)
Other versions
KR101595883B1 (en
Inventor
정영제
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020100009645A priority Critical patent/KR101595883B1/en
Publication of KR20110090068A publication Critical patent/KR20110090068A/en
Application granted granted Critical
Publication of KR101595883B1 publication Critical patent/KR101595883B1/en

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Abstract

PURPOSE: An apparatus and method for reducing a motion compensation noise of an image are provided to prevent the generation of an image pulling phenomenon by removing 3D noise. CONSTITUTION: A 2D noise removing mean(100) removes noise by creating an interest area image from a wavelet transformation input image and performs a wavelet inverse transformation. A 3D noise removing mean(200) removes noise by applying a predetermined filter coefficient on the 3D image and the output image of the 2D noise removing mean. A composition ratio generation mean(400) creates a composition ratio which indicates whether to apply weighted value to one of the 2D or the 3D noise removing mean by the difference of the noise removing mean output image.

Description

영상의 움직임 보상 노이즈 제거 장치 및 방법{Apparatus and method for reducing motion compensation noise of image}Apparatus and method for reducing motion compensation noise of image

본 발명은 동영상의 움직임 보상 노이즈를 제거하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for removing motion compensation noise of a video.

이미지 센서의 경우 저조도 시에 비디오 신호의 증폭을 위해 이미지 센서의 출력을 증폭시킨다. 이때 화면 상에 게인(gain) 노이즈가 발생하게 되는데, 이 노이즈를 제거하기 위해 일반적으로 시간축 상에 N×N 공간 필터링을 사용하여 영상에서 노이즈를 제거한다.The image sensor amplifies the output of the image sensor to amplify the video signal in low light. In this case, a gain noise is generated on the screen. In order to remove the noise, noise is generally removed from an image by using N × N spatial filtering on a time axis.

시간축 상의 필터링은 동영상의 경우 비디오 증폭에 따른 게인 노이즈 이외에 움직이는 물체 및 영상의 에지(edge) 부분까지 필터링이 되어 영상이 흐려지는 문제가 발생한다. 또한 동영상의 경우 화면에 움직임이 심할 경우 움직임이 많을수록 필터링이 많이 되어 영상의 끌림이 발생한다.The filtering on the time axis causes a problem that the image is blurred because the moving object and the edge of the image are filtered in addition to the gain noise due to the video amplification. Also, in the case of a video, when the motion is severe on the screen, the more the motion is, the more the filtering is performed, and the image is dragged.

본 발명이 해결하고자 하는 기술적인 과제는 웨이블릿 변환을 이용하여 동영상의 움직임을 예측하여 2D 노이즈를 제거하고, 3D 필터링을 이용하여 3D 노이즈를 제거하는 장치 및 방법을 제공하는데 있다.The technical problem to be solved by the present invention is to provide an apparatus and method for removing 2D noise by predicting the motion of the video using wavelet transform, and removing 3D noise using 3D filtering.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상의 움직임 보상 노이즈 제거 장치는 웨이블릿 변환한 입력 영상으로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하는 2D 노이즈 제거수단; 상기 2D 노이즈 제거수단의 출력 영상 및 3D 노이즈가 제거된 이전 영상에 소정의 필터 계수를 적용하여 노이즈를 제거하는 3D 노이즈 제거수단; 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율을 생성하는 합성비율 생성수단; 및 상기 생성된 합성비율에 따라 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상을 합성하여 출력 영상을 생성하는 영상 합성수단을 포함하는 것이 바람직하다.The motion compensation noise removing apparatus of the image for solving the technical problem to be achieved by the present invention comprises: 2D noise removing means for generating a region of interest image from the wavelet transformed input image to remove the noise and performing the inverse wavelet transform; 3D noise removing means for removing noise by applying predetermined filter coefficients to the output image of the 2D noise removing means and the previous image from which the 3D noise is removed; Synthesizing ratio generating means for generating a synthesizing ratio indicating which noise removing means is further weighted according to the difference between the output image of the 2D noise removing means and the 3D noise removing means; And image synthesizing means for synthesizing the output images of the 2D noise removing means and the 3D noise removing means according to the generated synthesis ratio to generate an output image.

본 발명에 있어서, 상기 2D 노이즈 제거수단은 입력된 이미지를 필터링하여 서브 이미지들을 생성하는 웨이블릿 변환부; 상기 서브 이미지들 중 이전 및 현재의 저주파 부대역 이미지로부터 움직임을 예측하여 관심 영역(ROI:region of interest) 이미지를 생성하는 움직임 예측부; 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이미지에 따라 선택적으로 노이즈를 제거하는 노이즈 제거부; 및 상기 노이즈가 제거된 상기 서브 이미지들을 합성하여 출력 이미지를 생성하는 웨이블릿 역변환부를 포함할 수 있다.In the present invention, the 2D noise removing means comprises: a wavelet converter for filtering the input image to generate sub-images; A motion predictor for predicting motion from previous and current low frequency subband images of the sub-images to generate a region of interest (ROI) image; A noise removing unit selectively removing noise from the high frequency subband images of the sub-images according to the ROI image; And a wavelet inverse transform unit configured to synthesize the sub-images from which the noise is removed to generate an output image.

본 발명에 있어서, 상기 움직임 예측부는 상기 이전 및 현재의 저주파 부대역 이미지로부터 움직임 예측 백터를 생성하고 정규화하는 움직임 벡터 처리부; 및 상기 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성하는 이미지 생성부를 포함할 수 있다.In the present invention, the motion prediction unit comprises: a motion vector processor for generating and normalizing a motion prediction vector from the previous and current low frequency subband images; And an image generator configured to generate the ROI binary image including 0 when the normalized motion vector value is smaller than the reference value and 1 when the reference value is not smaller than the reference value.

본 발명에 있어서, 상기 노이즈 제거부는 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이진 이미지에 따라 기 설정된 노이즈 감쇄 곡선을 적용하여 노이즈를 제거할 수 있다.In the present invention, the noise removing unit may remove noise by applying a preset noise reduction curve according to the binary image of the region of interest in the high frequency subband images of the sub-images.

본 발명에 있어서, 상기 합성비율 생성수단은 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이가 일정값 이하이면 상기 2D 노이즈 제거수단의 출력 영상이 더 커지도록 상기 합성비율을 조정하고, 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이가 일정값 이상이면 상기 3D 노이즈 제거수단의 출력 영상이 더 커지도록 상기 합성비율을 조정할 수 있다.In the present invention, the synthesis ratio generating means adjusts the synthesis ratio so that the output image of the 2D noise removing means becomes larger if the difference between the output image of the 2D noise removing means and the 3D noise removing means is equal to or less than a predetermined value, When the difference between the output image of the 2D noise removing means and the 3D noise removing means is greater than or equal to a predetermined value, the synthesis ratio may be adjusted so that the output image of the 3D noise removing means becomes larger.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상의 움직임 보상 노이즈 제거 방법은 웨이블릿 변환한 입력 영상으로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하는 2D 노이즈 제거 단계; 상기 2D 노이즈가 제거된 영상 및 3D 노이즈가 제거된 이전 영상에 소정의 필터 계수를 적용하여 노이즈를 제거하는 3D 노이즈 제거 단계; 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율을 생성단계; 및 상기 생성된 합성비율에 따라 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상을 합성하여 출력 영상을 생성하는 단계를 포함하는 것이 바람직하다.According to an aspect of the present invention, there is provided a motion compensation noise removing method of an image, comprising: generating a region of interest image from a wavelet transformed input image to remove noise and performing inverse wavelet transform; A 3D noise removing step of removing noise by applying predetermined filter coefficients to the image from which the 2D noise is removed and the previous image from which the 3D noise is removed; Generating a synthesis ratio indicating which noise removing means is further weighted according to a difference between the 2D noise-removed image and the 3D noise-removed image; And generating an output image by synthesizing the image from which the 2D noise has been removed and the image from which the 3D noise has been removed according to the generated synthesis ratio.

본 발명에 있어서, 상기 2D 노이즈 제거 단계는 (a) 입력된 이미지를 웨이블릿 변환하여 서브 이미지들을 생성하는 단계; (b) 상기 서브 이미지들 중 이전 및 현재의 저주파 부대역 이미지로부터 움직임을 예측하여 관심 영역(ROI:region of interest) 이미지를 생성하는 단계; (c) 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이미지에 따라 선택적으로 노이즈를 제거하는 단계; 및 (d) 상기 노이즈가 제거된 상기 서브 이미지들에 웨이블릿 역변환을 수행하여 출력 이미지를 생성하는 단계를 포함하는 것이 바람직하다.In the present invention, the 2D noise removing step may include: (a) generating sub-images by wavelet transforming an input image; (b) generating a region of interest (ROI) image by predicting motion from previous and current low frequency subband images of the sub-images; (c) selectively removing noise from high frequency subband images of the sub-images according to the ROI image; And (d) performing an inverse wavelet transform on the sub-images from which the noise has been removed to generate an output image.

본 발명에 있어서, 상기 (b)단계는 (b-1) 상기 이전 및 현재의 저주파 부대역 이미지로부터 움직임 예측 백터를 생성하고 정규화하는 단계; 및 (b-2) 상기 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성하는 단계를 포함할 수 있다.In the present invention, step (b) comprises: (b-1) generating and normalizing a motion prediction vector from the previous and current low frequency subband images; And (b-2) comparing the normalized motion vector value with a reference value to generate a region of interest binary image including 0 when the value is smaller than the reference value and 1 when the value is not smaller than the reference value.

본 발명에 있어서, 상기 (c)단계는 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이진 이미지에 따라 기 설정된 노이즈 감쇄 곡선을 적용하여 노이즈를 제거할 수 있다.In the present invention, step (c) may remove noise by applying a preset noise reduction curve based on the binary image of the region of interest in the high-frequency subband images of the sub-images.

본 발명에 있어서, 상기 합성비율을 생성단계에서 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상의 차이가 일정값 이하이면 상기 2D 노이즈가 제거된 영상이 더 커지도록 상기 합성비율을 조정하고, 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상의 차이가 일정값 이상이면 상기 3D 노이즈가 제거된 영상이 더 커지도록 상기 합성비율을 조정할 수 있다.In the present invention, if the difference between the image from which the 2D noise is removed and the image from which the 3D noise is removed is less than or equal to a predetermined value in the step of generating the synthesis ratio, the synthesis ratio is adjusted so that the image from which the 2D noise is removed is larger. If the difference between the image from which the 2D noise is removed and the image from which the 3D noise is removed is greater than or equal to a predetermined value, the synthesis ratio may be adjusted so that the image from which the 3D noise is removed is larger.

상술한 바와 같이 본 발명에 따르면, 웨이블릿 변환을 이용하여 동영상의 움직임을 예측하여 2D 노이즈를 제거하고, 3D 필터링을 이용하여 3D 노이즈를 제거함으로써 영상이 흐려지는 문제점이나 영상의 끌림 발생을 억제할 수 있다.As described above, according to the present invention, it is possible to suppress the problem of blurring the image or the occurrence of the drag by removing the 2D noise by predicting the motion of the video using the wavelet transform and removing the 3D noise using the 3D filtering. .

도 1은 본 발명에 따른 웨이블릿 변환을 이용한 영상의 움직임 보상 노이즈 제거 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 2D 노이즈 제거수단에서 움직임을 예측하고, 관심영역 이미지를 생성하는 예를 보이는 도면이다.
도 3은 도 1 중 2D 노이즈 제거수단에서 선택적으로 노이즈를 제거하는 예를 보이는 도면이다.
도 4는 도 1 중 2D 노이즈 제거수단에서 선택적으로 노이즈를 제거하기 위해 기 설정되어 있는 노이즈 감쇄 곡선을 보이는 도면이다.
도 5는 도 1 중 3D 노이즈 제거수단에서 3D 노이즈 제거 전 영상 및 3D 노이즈 제거 후 영상을 보이는 도면이다.
도 6은 도 1 중 합성비율 생성수단에서 영상 차이에 따른 합성비율 적용 곡선을 보이는 도면이다.
도 7은 본 발명에 따른 웨이블릿 변환을 이용한 영상의 움직임 보상 노이즈 제거 방법의 동작을 보이는 흐름도 이다.
도 8은 도 7 중 2D 노이즈 제거 방법의 상세 흐름도 이다.1 is a block diagram illustrating a configuration of an apparatus for removing motion compensation noise of an image using wavelet transform according to the present invention.
FIG. 2 is a diagram illustrating an example of predicting a motion in the 2D noise removing unit of FIG. 1 and generating an ROI image.
3 is a view showing an example of selectively removing noise in the 2D noise removing means of FIG.
FIG. 4 is a diagram illustrating a noise reduction curve that is preset to selectively remove noise in the 2D noise removing unit of FIG. 1.
FIG. 5 is a view illustrating an image before 3D noise removal and an image after 3D noise removal in 3D noise removing means of FIG. 1.
FIG. 6 is a view showing a composite ratio application curve according to an image difference in the composite ratio generation unit of FIG. 1.
7 is a flowchart illustrating an operation of a method for removing motion compensation noise of an image using wavelet transform according to the present invention.
FIG. 8 is a detailed flowchart of a 2D noise removing method of FIG. 7.

이하 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명한다. Hereinafter, exemplary embodiments will be described with reference to the accompanying drawings.

도 1은 본 발명에 따른 영상의 움직임 보상 노이즈 제거 장치의 구성을 보이는 블록도로서, 2D 노이즈 제거수단(100), 3D 노이즈 제거수단(200), 저장수단(300), 합성비율 생성수단(400) 및 영상 합성수단(500)를 포함한다. Figure 1 is a block diagram showing the configuration of the motion compensation noise removing apparatus of the image according to the present invention, 2D noise removing means 100, 3D noise removing means 200, storage means 300, synthesis ratio generating means 400 And an image synthesizing means 500.

2D 노이즈 제거수단(100)은 웨이블릿 변환한 입력 영상(Iin(t))로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하여 2D 노이즈가 제거된 영상(I2(t))을 출력한다.The 2D noise removing unit 100 generates an ROI image from the wavelet-converted input image I in (t) to remove the noise, and then performs a wavelet inverse transform on the image I 2 (t) from which the 2D noise is removed. Output

본 발명에서 2D 노이즈 제거수단(100)은 웨이블릿 변환부(110), 고주파 부대역 추출부(120), 저주파 부대역 추출부(130), 움직임 벡터 처리부(140), ROI 이미지 생성부(150), 노이즈 제거부(160) 및 웨이블릿 역변환부(170)를 포함한다.In the present invention, the 2D noise removing unit 100 includes a wavelet transform unit 110, a high frequency subband extractor 120, a low frequency subband extractor 130, a motion vector processor 140, and an ROI image generator 150. , The noise removing unit 160 and the wavelet inverse transform unit 170.

웨이블릿 변환부(110)는 입력된 이미지를 필터링하여 서브 이미지들을 생성한다. 웨이블릿 변환부(110)는 2차원 이미지의 각 행에 대해 저역 통과 필터와 고역 통과 필터를 적용시키고 다운 샘플링을 수행하여 저주파 부대역 서브 이미지로서, LL(low-low) 이미지 및 고주파 부대역 서브 이미지들로서, LH(low-high), HL(high-low) 및 HH(high-high) 이미지들을 생성한다.The wavelet transform unit 110 generates sub-images by filtering the input image. The wavelet transform unit 110 is a low frequency subband sub-image by applying a low pass filter and a high pass filter to each row of the 2D image and performing downsampling, and includes a low-low (LL) image and a high frequency subband sub-image. As such, it produces low-high, high-low (HL) and high-high (HH) images.

여기서, LL 이미지는 원본 영상에 수평과 수직 방향으로 저역 통과 필터를 적용하여 2로 서브 샘플된 것이다. HL 이미지는 원본 영상에 수직방향으로 고역 통과 필터를 적용한 것으로 수직 방향 주파수의 오차 성분을 포함하고 있다. LH 이미지는 수평 방향으로 고역 통과 필터를 적용한 것으로 수평방향 주파수의 오차 성분을 포함하고 있다. HH 이미지는 수평과 수직 방향에 고역 통과 필터를 적용한 것이다.Here, the LL image is subsampled to 2 by applying a low pass filter in the horizontal and vertical directions to the original image. The HL image is a vertical high-pass filter applied to the original image and contains the error component of the vertical frequency. The LH image is a high pass filter applied in the horizontal direction and includes an error component of the horizontal frequency. The HH image is a high pass filter applied in the horizontal and vertical directions.

웨이블릿 변환은 영상의 시간적 정보 및 주파수 정보를 모두 공유하고 있다. 이것은 주파수 및 공간적 영상 처리를 가능하게 한다. K단계의 웨이블릿 변환 시에 K단계의 저주파 부대역 이미지는 여전히 공간적 정보를 담고 있기 때문에 프레임간 움직인 정보를 얻을 수 있다. 또한 저주파 부대역 이미지의 움직임 정보는 다른 고주파 부대역에서도 공간적 정보와 일치하거나 1/2로 축소한 이미지와 동일하므로 고주파 부대역 중 움직임 정보가 있는 웨이블릿 계수들을 판단할 수가 있고, 선택적으로 노이즈 제거 기준값(threshold값)을 움직임 정보의 움직임 양에 비례하여 적용할 수 있다.The wavelet transform shares both temporal and frequency information of an image. This allows for frequency and spatial image processing. When the K-level wavelet transform is performed, the low-frequency subband image of the K-level still contains spatial information, thereby obtaining information moved between frames. In addition, since the motion information of the low frequency subband image is the same as that of the spatial information in other high frequency subbands or is reduced to 1/2, the wavelet coefficients having the motion information among the high frequency subbands can be determined. (threshold) can be applied in proportion to the amount of motion of motion information.

도 2a 및 도 2d에는 이전(I(t-1)) 및 현재(I(t)) 원 영상이, 도 2b 및 도 2e에는 이전(I(t-1)) 및 현재(I(t)) 영상을 웨이블릿 변환한 예가 도시되어 있다.The previous (I (t-1)) and present (I (t)) original images are shown in FIGS. 2A and 2D, and the previous (I (t-1)) and present (I (t)) are shown in FIGS. 2B and 2E. An example of wavelet transforming an image is shown.

고주파 부대역 추출부(120)는 웨이블릿 변환되어 생성된 서브 이미지들 중 고주파 부대역 이미지 즉, LH(low-high), HL(high-low) 및 HH(high-high) 이미지들을 추출한다.The high frequency subband extractor 120 extracts high frequency subband images, ie, low-high, high-low, and high-high images, from among the sub-images generated by the wavelet transform.

저주파 부대역 추출부(130)는 웨이블릿 변환되어 생성된 서브 이미지들 중 저주파 부대역 이미지 즉, LL(low-low) 이미지를 추출한다. 상기에서 언급된 바와 같이 저주파 부대역 이미지는 공간적 정보를 담고 있기 때문에 프레임간 움직인 정보를 얻을 수 있다.The low frequency subband extractor 130 extracts a low frequency subband image, that is, a low-low (LL) image, from among the sub-images generated by the wavelet transform. As mentioned above, since the low-frequency subband image contains spatial information, information moved between frames can be obtained.

도 2c 및 도 2f에는 웨이블릿 변환되어 생성된 서브 이미지들 중 저주파 부대역 이미지가 도시되어 있다.2C and 2F illustrate low-frequency subband images of the sub-images generated by the wavelet transform.

움직임 벡터 처리부(140)는 이전(I(t-1)) 및 현재(I(t))의 저주파 부대역 이미지에 대하여 움직임 예측 백터를 생성하고, 생성된 움직임 벡터를 정규화한다. The motion vector processor 140 generates a motion prediction vector for the low frequency subband images of the previous (I (t-1)) and the present (I (t)) and normalizes the generated motion vector.

ROI(region of interest:관심 영역) 이미지 생성부(150)는 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성한다. 도 2g에는 도 2c 및 도 2f의 저주파 부대역 이미지에 대하여 움직임 예측 벡터를 생성하고 정규화 한 후, 기준값에 따라 생성된 관심영역 이진 파일의 예가 도시되어 있다.The region of interest (ROI) image generator 150 compares the normalized motion vector value with a reference value and generates a region of interest binary image consisting of 0 when it is smaller than the reference value and 1 when it is not smaller than the reference value. FIG. 2G illustrates an example of a region of interest binary file generated according to a reference value after generating and normalizing a motion prediction vector with respect to the low frequency subband images of FIGS. 2C and 2F.

노이즈 제거부(160)는 도 3h에 도시된 고주파 부대역 추출부(110)에서 추출된 고주파 부대역 이미지들에서 도 3g에 도시된 관심영역 이진 이미지에 따라 선택적으로 노이즈를 제거한다. 노이즈 제거부(160)에는 도 4에 도시된 바와 같은 노이즈 감쇄 곡선이 기저장되어 있다. 관심 영역 이진 이미지가 1인 경우 도 4a에 도시된 바와 같은 노이즈 감쇄 곡선을 적용하고, 관심 영역 이진 이미지가 0인 경우 도 4b에 도시된 바와 같은 노이즈 감쇄 곡선을 적용하여 노이즈를 제거한다.The noise remover 160 selectively removes noise from the high frequency subband images extracted by the high frequency subband extractor 110 illustrated in FIG. 3H according to the ROI binary image illustrated in FIG. 3G. The noise attenuation curve shown in FIG. 4 is pre-stored in the noise removing unit 160. If the region of interest binary image is 1, a noise reduction curve as shown in FIG. 4A is applied, and if the region of interest binary image is 0, a noise reduction curve as shown in FIG. 4B is applied to remove noise.

저주파 부대역 이미지의 움직임 정보는 다른 고주파 부대역에서도 공간적 정보와 일치하거나 1/2로 축소한 이미지와 동일하므로 고주파 부대역 중 움직임 정보가 있는 웨이블릿 계수들을 판단할 수가 있고, 선택적으로 노이즈 제거 기준값(threshold값)을 움직임 정보의 움직임 양에 비례하여 적용할 수 있다.Since the motion information of the low frequency subband image is identical to the spatial information in other high frequency subbands or is reduced to 1/2, the wavelet coefficients with motion information among the high frequency subbands can be determined, and the noise removal reference value ( threshold value) can be applied in proportion to the amount of motion of the motion information.

웨이블릿 역변환부(170)는 노이즈가 제거된 4개의 서브 이미지를 결합하여 원본 영상으로 복원하여 출력한다. 도 4i에는 노이즈가 제거된 후 웨이블릿 역변환이 수행된 이미지가 도시되어 있다. 도 2a 및 도 2d와 비교 시에 노이즈가 제거 되었음을 알 수 있다.The wavelet inverse transform unit 170 combines four sub-images from which noise is removed and restores the original image to output the original image. 4I illustrates an image in which the wavelet inverse transform is performed after the noise is removed. It can be seen that the noise is removed when compared with FIGS. 2A and 2D.

3D 노이즈 제거수단(200)은 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 저장수단(300)에 저장된 3D 노이즈가 제거된 이전 영상(I3(t-1)) 에 소정의 필터 계수를 적용하여 3D 노이즈를 제거한 영상(I3(t))을 출력한다.The 3D noise removing means 200 is applied to the output image I 2 (t) of the 2D noise removing means 100 and the previous image I 3 (t-1) from which the 3D noise stored in the storage means 300 is removed. A predetermined filter coefficient is applied to output an image I 3 (t) from which 3D noise is removed.

저조도 시에 비디오 증폭 시킨 영상은 많은 노이즈를 포함하고 있다. 도 5a에는 영상 픽셀에서의 시간에 따른 휘도 변화량을 나타내고 있다. 3D 노이즈 제거수단(200)은 저역 통과 필터(low pass filter)로 구성될 수 있으며, 이러한 저역 통과 필터를 통과하여 영상의 노이즈를 제거할 수 있으며, 도 5b에는 3D 필터링을 적용한 결과가 도시되어 있다.The video-amplified image in low light contains a lot of noise. 5A illustrates a luminance change amount of time in an image pixel. The 3D noise removing unit 200 may be configured as a low pass filter, and may pass through the low pass filter to remove noise of the image, and FIG. 5B shows a result of applying 3D filtering. .

이러한 3D 필터링을 구현하는 수식이 수학식 1에 나타나 있다.Equation 1 for implementing such 3D filtering is shown in Equation 1.

Figure pat00001
Figure pat00001

여기서, A, B는 필터링 계수 이다.Where A and B are filtering coefficients.

저장수단(300)에는 3D 노이즈가 제거된 영상들(...I3(t-1), I3(t))이 저장되어 있다.The storage means 300 stores the images (.I 3 (t-1) and I 3 (t)) from which 3D noise has been removed.

합성비율 생성수단(400)은 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율(W)를 생성한다.Synthesis ratio generation unit 400 is to remove any noise due to differences of the output image (I 3 (t)) of the output image (I 2 (t)) and 3D noise removing means 200, a 2D noise removal means 100 Generate a composite ratio W that indicates whether to add more weight to the output of the means.

도 6에는 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))의 차이에 따른 합성비율(W) 적용 곡선이 도시되어 있다. 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))의 차이값이 클수록 움직임이 많기 때문에 합성비율(W) 값을 작게 하여 2D 노이즈 제거수단(100)의 출력 영상(I2(t))에 가중치를 더 주고, 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))의 차이값이 작을수록 움직임이 거의 없기 때문에 합성비율(W) 값을 크게 하여 3D 노이즈 제거수단(200)의 출력 영상(I3(t))에 가중치를 더 주도록 한다.6, the output image (I 2 (t)) and 3D synthesis ratio according to the difference of the output image (I 3 (t)) of the noise reducing means (200) (W) applied to the curve of a 2D noise removal means 100 Is shown. Synthesis ratio (W) value because of the difference of the output image (I 3 (t)) of the output image (I 2 (t)) and 3D noise removing means 200, a 2D noise reduction unit 100 the larger the large movement The weight of the output image I 2 (t) of the 2D noise removing means 100 is reduced, and the output image I 2 (t) and the 3D noise removing means 200 of the 2D noise removing means 100 are reduced. Since the smaller the difference value of the output image (I 3 (t)) is, the less motion occurs, the composite ratio (W) is increased so that the weighted value of the output image (I 3 (t)) of the 3D noise removing unit 200 is increased. Give more.

영상 합성수단(500)은 생성된 합성비율(W)에 따라 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))을 합성하여 최종 출력 영상(Iout(t))을 생성한다.The output image of the image synthesizing means 500 is the output image of the 2D noise removing unit 100 according to the generated synthesis ratio (W) (I 2 (t)) and 3D noise reduction means (200), (I 3 (t) ) Is synthesized to generate the final output image I out (t).

영상 합성수단(500)에서 최종 출력 영상을 생성하는 수식이 수학식 2에 나타나 있다.The equation for generating the final output image in the image synthesizing means 500 is shown in Equation 2.

Figure pat00002
Figure pat00002

이와 같이 웨이블릿 변환을 이용하여 동영상의 움직임을 예측하여 2D 노이즈를 제거하고, 3D 필터링을 이용하여 3D 노이즈를 제거함으로써 영상이 흐려지는 문제점이나 영상의 끌림 발생을 억제할 수 있다.As such, by using wavelet transform, the motion of the video is predicted to remove 2D noise, and the 3D noise is removed using 3D filtering to suppress the problem of blurring the image or the occurrence of drag.

이하, 도 7 및 도 8을 참조하여 본 발명에 따른 영상의 움직임 보상 노이즈 제거 방법을 상세히 설명한다.Hereinafter, a method of removing motion compensation noise of an image according to the present invention will be described in detail with reference to FIGS. 7 and 8.

영상이 입력되면, 2D 웨이블릿 필터링을 수행한다(710단계). 2D 웨이블릿 필터링은 도 1에 개시된 2D 노이즈 제거수단(100)에서 수행하며, 도 8에 상세한 흐름도가 개시되어 있다. 이하 도 8을 참조하여 2D 웨이블릿 필터링을 설명한다.When the image is input, 2D wavelet filtering is performed (step 710). 2D wavelet filtering is performed by the 2D noise removing means 100 disclosed in FIG. 1, and a detailed flowchart is disclosed in FIG. 8. Hereinafter, 2D wavelet filtering will be described with reference to FIG. 8.

웨이블릿 변환부(110)는 입력된 영상을 필터링하여 서브 이미지들을 생성한다(711단계).The wavelet transform unit 110 generates sub-images by filtering the input image (step 711).

웨이블릿 변환이 완료되면, 고주파 부대역 추출부(120)는 웨이블릿 변환되어 생성된 서브 이미지들 중 고주파 부대역 이미지들을 추출하고, 저주파 부대역 추출부(130)는 웨이블릿 변환되어 생성된 서브 이미지들 중 저주파 부대역 이미지를 추출한다(712단계).When the wavelet transform is completed, the high frequency subband extractor 120 extracts high frequency subband images from the sub images generated by the wavelet transform, and the low frequency subband extractor 130 performs the wavelet transform among the sub images. The low frequency subband image is extracted (step 712).

고주파 부대역 추출 및 저주파 부대역 추출이 완료되면, 움직임 벡터 처리부(140)는 이전(I(t-1)) 및 현재(I(t))의 저주파 부대역 이미지에 대하여 움직임 예측 백터를 생성하고, 생성된 움직임 벡터를 정규화한다(713단계). When the high frequency subband extraction and the low frequency subband extraction are completed, the motion vector processor 140 generates a motion prediction vector for the low frequency subband images of the previous (I (t-1)) and the present (I (t)). In operation 713, the generated motion vector is normalized.

이어서, ROI(region of interest:관심 영역) 이미지 생성부(150)는 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성한다(714단계).Subsequently, the ROI image generating unit 150 compares the normalized motion vector value with a reference value and generates a region of interest binary image including 0 when the value is smaller than the reference value and 1 when the value is not smaller than the reference value. (714 steps).

관심영역 이진 이미지가 생성되면, 노이즈 제거부(160)는 고주파 부대역 추출부(110)에서 추출된 고주파 부대역 이미지들에서 관심영역 이진 이미지에 따라 선택적으로 노이즈를 제거한다(715단계). When the region of interest binary image is generated, the noise removing unit 160 selectively removes noise from the high frequency subband images extracted by the high frequency subband extractor 110 according to the region of interest binary image (operation 715).

노이즈 제거가 완료되면, 웨이블릿 역변환부(170)는 노이즈가 제거된 4개의 서브 이미지를 결합하여 원본 영상으로 복원하여 최종 2D 필터링된 영상(I2(t))을 출력한다(716단계).When the noise removal is completed, the wavelet inverse transform unit 170 combines the four sub-images from which the noise is removed and restores the original image to output the final 2D filtered image I 2 (t) (step 716).

입력 영상(Iin(t))에 대한 2D 필터링이 완료되면, 2D 필터링 결과 출력 영상(I2(t)) 및 이전 3D 필터링 결과 영상(I3(t-1))을 이용하여 현재 영상에 대한 3D 필터링을 수행한다(720단계). 3D 필터링 시에 저역 톡과 필터를 통하여 영상의 노이즈를 제거할 수 있으며, 3D 필터링 식이 상기 수학식 1에 개시되어 있다.When 2D filtering of the input image I in (t) is completed, the 2D filtering result output image I 2 (t) and the previous 3D filtering result image I 3 (t-1) are used to display the current image. 3D filtering is performed (step 720). In the 3D filtering, the noise of the image may be removed through the low-pass tok and the filter, and the 3D filtering equation is disclosed in Equation 1 above.

이어서, 2D 필터링 결과 영상(I2(t)) 및 3D 필터링 결과 영상(I3(t))의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율(W)를 산출한다(730단계). 2D 필터링 결과 영상(I2(t)) 및 3D 필터링 결과 영상(I3(t))의 차이값이 클수록 움직임이 많기 때문에 합성비율(W) 값을 작게 하여 2D 필터링 결과 영상(I2(t))에 가중치를 더 준다. 그리고 2D 필터링 결과 영상(I2(t)) 및 3D 필터링 결과 영상(I3(t))의 차이값이 작을수록 움직임이 거의 없기 때문에 합성비율(W) 값을 크게 하여 3D 필터링 결과 영상(I3(t))에 가중치를 더 주도록 한다.Subsequently, a composition ratio W indicating which noise removing means is to be further weighted according to the difference between the 2D filtering result image I 2 (t) and the 3D filtering result image I 3 (t) is calculated. (Step 730). Since the larger the difference between the 2D filtering result image (I 2 (t)) and the 3D filtering result image (I 3 (t)), the more motion there is, the smaller the composite ratio (W) value is, the smaller the 2D filtering result image (I 2 (t)) is. Give more weight to)). Since the smaller the difference between the 2D filtering result image I 2 (t) and the 3D filtering result image I 3 (t), there is little motion, the composite ratio W is increased to increase the 3D filtering result image (I). Give more weight to 3 (t)).

합성비율(W) 산출이 완료되면, 생성된 합성비율(W)에 따라 2D 필터링 결과 영상(I2(t)) 및 3D 필터링 결과 영상(I3(t))을 합성하여 최종 출력 영상(Iout(t))을 생성한다(740, 750단계). 최종 출력 영상(Iout(t)) 합성 식에 상기 수학식 2에 개시되어 있다.After the calculation of the synthesis ratio W is completed, the final output image I is synthesized by synthesizing the 2D filtering result image I 2 (t) and the 3D filtering result image I 3 (t) according to the generated synthesis ratio W. out (t)) is generated (steps 740 and 750). The final output image I out (t) is described in Equation 2 above.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims (10)

웨이블릿 변환한 입력 영상으로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하는 2D 노이즈 제거수단;
상기 2D 노이즈 제거수단의 출력 영상 및 3D 노이즈가 제거된 이전 영상에 소정의 필터 계수를 적용하여 노이즈를 제거하는 3D 노이즈 제거수단;
상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율을 생성하는 합성비율 생성수단; 및
상기 생성된 합성비율에 따라 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상을 합성하여 출력 영상을 생성하는 영상 합성수단을 포함하는 영상의 움직임 보상 노이즈 제거 장치.2D noise removing means for generating an ROI image from the wavelet transformed input image to remove noise and performing inverse wavelet transform;
3D noise removing means for removing noise by applying predetermined filter coefficients to the output image of the 2D noise removing means and the previous image from which the 3D noise is removed;
Synthesizing ratio generating means for generating a synthesizing ratio indicating which noise removing means is further weighted according to the difference between the output image of the 2D noise removing means and the 3D noise removing means; And
And image combining means for synthesizing the output image of the 2D noise removing means and the 3D noise removing means according to the generated synthesis ratio to generate an output image. 제 1항에 있어서, 상기 2D 노이즈 제거수단은
입력된 이미지를 필터링하여 서브 이미지들을 생성하는 웨이블릿 변환부;
상기 서브 이미지들 중 이전 및 현재의 저주파 부대역 이미지로부터 움직임을 예측하여 관심 영역(ROI:region of interest) 이미지를 생성하는 움직임 예측부;
상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이미지에 따라 선택적으로 노이즈를 제거하는 노이즈 제거부; 및
상기 노이즈가 제거된 상기 서브 이미지들을 합성하여 출력 이미지를 생성하는 웨이블릿 역변환부를 포함하는 웨이블릿 변환을 이용한 영상의 움직임 보상 노이즈 제거 장치.The method of claim 1, wherein the 2D noise removing means
A wavelet converter configured to filter the input image to generate sub-images;
A motion predictor for predicting motion from previous and current low frequency subband images of the sub-images to generate a region of interest (ROI) image;
A noise removing unit selectively removing noise from the high frequency subband images of the sub-images according to the ROI image; And
And a wavelet inverse transform unit configured to synthesize the sub-images from which the noise is removed to generate an output image. 제 2항에 있어서, 상기 움직임 예측부는
상기 이전 및 현재의 저주파 부대역 이미지로부터 움직임 예측 백터를 생성하고 정규화하는 움직임 벡터 처리부; 및
상기 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성하는 이미지 생성부를 포함하는 것을 특징으로 하는 영상의 움직임 보상 노이즈 제거 장치.The method of claim 2, wherein the motion predictor
A motion vector processor for generating and normalizing a motion prediction vector from the previous and current low frequency subband images; And
And an image generator configured to generate the ROI binary image configured to compare the normalized motion vector value with a reference value and zero when the reference value is smaller than the reference value and 1 when the reference value is not smaller than the reference value. 제 3항에 있어서, 상기 노이즈 제거부는
상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이진 이미지에 따라 기 설정된 노이즈 감쇄 곡선을 적용하여 노이즈를 제거하는 것을 특징으로 하는 영상의 움직임 보상 노이즈 제거 장치.The method of claim 3, wherein the noise removing unit
The apparatus of claim 1, wherein the noise is removed by applying a preset noise reduction curve based on the binary image of the region of interest in the high-frequency subband images of the sub-images. 제 1항에 있어서, 상기 합성비율 생성수단은
상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이가 일정값 이하이면 상기 2D 노이즈 제거수단의 출력 영상이 더 커지도록 상기 합성비율을 조정하고, 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이가 일정값 이상이면 상기 3D 노이즈 제거수단의 출력 영상이 더 커지도록 상기 합성비율을 조정하는 것을 특징으로 하는 영상의 움직임 보상 노이즈 제거 장치.The method of claim 1, wherein the synthesis ratio generating means
If the difference between the output image of the 2D noise removing means and the 3D noise removing means is equal to or less than a predetermined value, the synthesis ratio is adjusted so that the output image of the 2D noise removing means becomes larger, and the 2D noise removing means and the 3D noise removing means And adjusting the composition ratio so that the output image of the 3D noise removing unit is larger if the difference of the output image is greater than or equal to a predetermined value. 웨이블릿 변환한 입력 영상으로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하는 2D 노이즈 제거 단계;
상기 2D 노이즈가 제거된 영상 및 3D 노이즈가 제거된 이전 영상에 소정의 필터 계수를 적용하여 노이즈를 제거하는 3D 노이즈 제거 단계;
상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율을 생성단계; 및
상기 생성된 합성비율에 따라 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상을 합성하여 출력 영상을 생성하는 단계를 포함하는 영상의 움직임 보상 노이즈 제거 방법.Generating a region of interest image from the wavelet transformed input image to remove noise and performing inverse wavelet transform;
A 3D noise removing step of removing noise by applying predetermined filter coefficients to the image from which the 2D noise is removed and the previous image from which the 3D noise is removed;
Generating a synthesis ratio indicating which noise removing means is further weighted according to a difference between the 2D noise-removed image and the 3D noise-removed image; And
And synthesizing the image from which the 2D noise has been removed and the image from which the 3D noise has been removed according to the generated synthesis ratio to generate an output image. 제 6항에 있어서, 상기 2D 노이즈 제거 단계는
(a) 입력된 이미지를 웨이블릿 변환하여 서브 이미지들을 생성하는 단계;
(b) 상기 서브 이미지들 중 이전 및 현재의 저주파 부대역 이미지로부터 움직임을 예측하여 관심 영역(ROI:region of interest) 이미지를 생성하는 단계;
(c) 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이미지에 따라 선택적으로 노이즈를 제거하는 단계; 및
(d) 상기 노이즈가 제거된 상기 서브 이미지들에 웨이블릿 역변환을 수행하여 출력 이미지를 생성하는 단계를 포함하는 영상의 움직임 보상 노이즈 제거 방법.The method of claim 6, wherein the 2D noise removing step
generating sub-images by wavelet transforming the input image;
(b) generating a region of interest (ROI) image by predicting motion from previous and current low frequency subband images of the sub-images;
(c) selectively removing noise from high frequency subband images of the sub-images according to the ROI image; And
and (d) performing an inverse wavelet transform on the sub-images from which the noise is removed to generate an output image. 제 7항에 있어서, 상기 (b)단계는
(b-1) 상기 이전 및 현재의 저주파 부대역 이미지로부터 움직임 예측 백터를 생성하고 정규화하는 단계; 및
(b-2) 상기 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 영상의 움직임 보상 노이즈 제거 방법.The method of claim 7, wherein step (b)
(b-1) generating and normalizing a motion prediction vector from the previous and current low frequency subband images; And
(b-2) comparing the normalized motion vector value with a reference value to generate a region of interest binary image composed of 0 when the value is smaller than the reference value and 1 when the value is not smaller than the reference value. How to remove noise. 제 8항에 있어서, 상기 (c)단계는
상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이진 이미지에 따라 기 설정된 노이즈 감쇄 곡선을 적용하여 노이즈를 제거하는 것을 특징으로 하는 영상의 움직임 보상 노이즈 제거 방법.The method of claim 8, wherein step (c)
And removing noise by applying a preset noise attenuation curve according to the binary image of the region of interest in the high-frequency subband images of the sub-images. 제 1항에 있어서, 상기 합성비율을 생성단계에서
상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상의 차이가 일정값 이하이면 상기 2D 노이즈가 제거된 영상이 더 커지도록 상기 합성비율을 조정하고, 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상의 차이가 일정값 이상이면 상기 3D 노이즈가 제거된 영상이 더 커지도록 상기 합성비율을 조정하는 것을 특징으로 하는 영상의 움직임 보상 노이즈 제거 방법.The method of claim 1, wherein the synthesis ratio
If the difference between the image from which the 2D noise is removed and the image from which the 3D noise is removed is equal to or less than a predetermined value, the synthesis ratio is adjusted so that the image from which the 2D noise is removed is larger, and the image from which the 2D noise is removed and the 3D is removed. And adjusting the composition ratio so that the image from which the 3D noise is removed is larger when the difference between the image from which the noise is removed is larger than a predetermined value.
KR1020100009645A 2010-02-02 2010-02-02 Apparatus and method for reducing motion compensation noise of image KR101595883B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100009645A KR101595883B1 (en) 2010-02-02 2010-02-02 Apparatus and method for reducing motion compensation noise of image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100009645A KR101595883B1 (en) 2010-02-02 2010-02-02 Apparatus and method for reducing motion compensation noise of image

Publications (2)

Publication Number Publication Date
KR20110090068A true KR20110090068A (en) 2011-08-10
KR101595883B1 KR101595883B1 (en) 2016-02-26

Family

ID=44927914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100009645A KR101595883B1 (en) 2010-02-02 2010-02-02 Apparatus and method for reducing motion compensation noise of image

Country Status (1)

Country Link
KR (1) KR101595883B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014193021A1 (en) * 2013-05-31 2014-12-04 주식회사 나노포커스레이 Method and system for processing medical images
KR20150067949A (en) * 2013-12-11 2015-06-19 엘지이노텍 주식회사 Apparatus for generating depth map
CN113170029A (en) * 2018-12-07 2021-07-23 索尼半导体解决方案公司 Image processing apparatus, image processing method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160909A (en) * 1999-12-02 2001-06-12 Matsushita Electric Ind Co Ltd Noise reduction device
JP2008258848A (en) * 2007-04-03 2008-10-23 Sanyo Electric Co Ltd Noise reduction device, noise reduction method, and electronic equipment
JP2008283341A (en) * 2007-05-09 2008-11-20 Matsushita Electric Ind Co Ltd Noise elimination device and noise elimination method of compressed coded image
JP2009219066A (en) * 2008-03-12 2009-09-24 Panasonic Corp Image processing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160909A (en) * 1999-12-02 2001-06-12 Matsushita Electric Ind Co Ltd Noise reduction device
JP2008258848A (en) * 2007-04-03 2008-10-23 Sanyo Electric Co Ltd Noise reduction device, noise reduction method, and electronic equipment
JP2008283341A (en) * 2007-05-09 2008-11-20 Matsushita Electric Ind Co Ltd Noise elimination device and noise elimination method of compressed coded image
JP2009219066A (en) * 2008-03-12 2009-09-24 Panasonic Corp Image processing apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014193021A1 (en) * 2013-05-31 2014-12-04 주식회사 나노포커스레이 Method and system for processing medical images
KR20150067949A (en) * 2013-12-11 2015-06-19 엘지이노텍 주식회사 Apparatus for generating depth map
CN113170029A (en) * 2018-12-07 2021-07-23 索尼半导体解决方案公司 Image processing apparatus, image processing method, and program
CN113170029B (en) * 2018-12-07 2024-04-12 索尼半导体解决方案公司 Image processing apparatus and image processing method

Also Published As

Publication number Publication date
KR101595883B1 (en) 2016-02-26

Similar Documents

Publication Publication Date Title
US8369649B2 (en) Image processing apparatus, image processing method, and computer program for performing super-resolution process
JP5062968B2 (en) Image processing apparatus and method, recording medium, and program
KR101298642B1 (en) Method and apparatus for eliminating image noise
KR20160102524A (en) Method for inverse tone mapping of an image
US9430816B2 (en) Image processing method, image processing system, image processing device, and image processing program capable of removing noises over different frequency bands, respectively
JP5348145B2 (en) Image processing apparatus and image processing program
KR101511564B1 (en) Apparatus and method for reducing motion compensation noise of image using wavelet transform
JP5027757B2 (en) Moving image denoising device, method and program thereof
JP4783676B2 (en) Image processing apparatus and image processing program
CN111614965B (en) Unmanned aerial vehicle video image stabilization method and system based on image grid optical flow filtering
US20110149163A1 (en) Image processing method, device and program to process a moving image
JP2000306089A (en) Image processor, image processing method and recording medium
WO2016075914A1 (en) Image signal processing apparatus, image signal processing method and image signal processing program
KR20110090068A (en) Apparatus and method for reducing motion compensation noise of image
JP6017279B2 (en) Image processing apparatus, image processing method, and program
JP2009219066A (en) Image processing apparatus
JP6000659B2 (en) Information processing apparatus, information processing method, and program
JP5903305B2 (en) Image processing apparatus and image processing method
JP2005150903A (en) Image processing apparatus, noise elimination method, and noise elimination program
Goto et al. Super-resolution for high-resolution displays
KR20090079470A (en) Signal dependent noise estimation apparatus and method on camera module
JP2009094617A (en) Image processing apparatus and method and program
JP2014006614A (en) Image processing device, image processing method, and program
JP2003337942A (en) Image processor
KR101958194B1 (en) Apparatus and method for contrast enhancement in transform domain

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190125

Year of fee payment: 4