KR100772405B1 - Methods for adaptive noise reduction based on global motion estimation and video processing system therefore - Google Patents

Methods for adaptive noise reduction based on global motion estimation and video processing system therefore Download PDF

Info

Publication number
KR100772405B1
KR100772405B1 KR1020060028421A KR20060028421A KR100772405B1 KR 100772405 B1 KR100772405 B1 KR 100772405B1 KR 1020060028421 A KR1020060028421 A KR 1020060028421A KR 20060028421 A KR20060028421 A KR 20060028421A KR 100772405 B1 KR100772405 B1 KR 100772405B1
Authority
KR
South Korea
Prior art keywords
noise
motion vector
global motion
frame
global
Prior art date
Application number
KR1020060028421A
Other languages
Korean (ko)
Other versions
KR20070035405A (en
Inventor
지 쥬
김영택
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060028421A priority Critical patent/KR100772405B1/en
Publication of KR20070035405A publication Critical patent/KR20070035405A/en
Application granted granted Critical
Publication of KR100772405B1 publication Critical patent/KR100772405B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)

Abstract

본 발명은 전역 움직임을 추정하고 시간 필터링(temporal filtering)의 전체적인 이득을 조정하는 개선된 시간 잡음 감쇄 방법과 시스템(temporal noise reduction method and system)에 관한 것이다. 시간 잡음 감쇄 기법은 현재 잡음이 섞인 입력 영상 프레임과 메모리에 저장되어 있는 이전의 필터링된 영상 프레임, 두개의 영상 프레임에 적용된다. 이러한 방법에 있어서 우선 잡음의 분산/표준편차를 추정하기 위하여 잡음 추정이 먼저 이루어진다. 그런 다음, 잡음이 섞인 현재 입력 영상 프레임의 픽셀들과 이전의 잡음 감쇄된 영상 프레임의 대응하는 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터들을 얻기 위해 움직임 추정이 적용된다. 상기 움직임 벡터를 통해 영상 시퀀스의 카메라 움직임을 추정하기 위해 전역 움직임 추정(global motion estimation)이 이루어진다. 신뢰할 수 있는 전역 움직임 추정이 이루어지면, 추정된 잡음 레벨의 조정을 통해 시간 필터링의 전체 이득이 감소된다. 따라서 움직임 번짐(motion blur)은 방지된다. The present invention relates to an improved temporal noise reduction method and system for estimating global motion and adjusting the overall gain of temporal filtering. The temporal noise attenuation technique is applied to two video frames, the input video frame currently mixed with noise and the previous filtered video frame stored in memory. In this method, noise estimation is first performed to estimate variance / standard deviation of noise. Then, motion estimation is applied to obtain motion vectors that represent the relative motion between the pixels of the noisy current input picture frame and the corresponding pixels of the previous noise attenuated picture frame. Global motion estimation is performed to estimate the camera motion of the image sequence through the motion vector. When reliable global motion estimation is made, the overall gain of temporal filtering is reduced by adjusting the estimated noise level. Therefore, motion blur is prevented.

전역 움직임, 잡음 감쇄, 움직임 벡터, 움직임 추정, 잡음 감쇄 Global motion, noise reduction, motion vector, motion estimation, noise reduction

Description

전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상 처리 시스템{Methods for adaptive noise reduction based on global motion estimation and video processing system therefore}Methods for adaptive noise reduction based on global motion estimation and video processing system therefore}

도 1은 전역 움직임 추정(global motion estimation)에 근거한 시간 잡음 감쇄 방법(method of temporal noise reduction)의 일 실시예를 도시하는 플로우차트.1 is a flowchart illustrating one embodiment of a method of temporal noise reduction based on global motion estimation.

도 2는 전역 움직임 추정에 근거한 시간 잡음 감쇄 시스템의 일 실시예의 기능 블록 다이어 그램.2 is a functional block diagram of one embodiment of a time noise attenuation system based on global motion estimation.

도 3(a)-(d)는 본 발명의 잡음 레벨 조정 파라미터(noise level adjustment parameters) 계산의 예들.3 (a)-(d) are examples of calculations of noise level adjustment parameters of the present invention.

본 발명은 일반적으로는 영상 처리, 그리고 보다 더 상세히는 영상 시퀀스(video sequence)의 잡음 감쇄(noise reduction)에 관한 발명이다. The present invention generally relates to image processing and, more particularly, to noise reduction of video sequences.

텔레비젼 수상기와 같은 많은 영상 디스플레이 시스템(video display system)에서, 잡음 감쇄에 의한 영상 개선(video enhancement)은 영상 디스플레이 에서 필수적인 무잡음 영상 시퀀스(noise-free video sequence)를 얻기 위해 실행된다. 다양한 잡음 감쇄 방법이 개발되었으나, 그러한 방법들은 프레임에 불필요한 아티팩트(artifacts)를 도입하기 때문에 매우 소수만이 실제 제품에서 사용된다. 대부분의 기존 잡음 감쇄 방법은 공간(2차원) 잡음 감쇄(spatial noise reduction), 시간 잡음 감쇄(temporal noise reduction), 그리고 3차원(3D) 잡음 감쇄 (즉, 2차원과 시간 잡음 감쇄의 조합) 3개의 범주로 구분될 수 있다. In many video display systems, such as television receivers, video enhancement by noise attenuation is performed to obtain a noise-free video sequence that is essential in video display. Various noise reduction methods have been developed, but very few are used in real products because they introduce unnecessary artifacts into the frame. Most existing noise reduction methods use spatial (two-dimensional) noise reduction, temporal noise reduction, and three-dimensional (3D) noise reduction (ie, a combination of two-dimensional and temporal noise reduction). Can be divided into four categories.

공간 잡음 감쇄는 현재 영상 프레임의 모든 픽셀을 작은 로컬 윈도우(a small local window)으로 나누어 필터링하는 것이다. 그러한 필터는 보통 커넬(kernel)에 근거한 컨벌루션(convolution) 필터로 취급된다. 이러한 필터의 예로 민(mean) 필터, 가우시안(gaussian) 필터, 미디언(median) 필터 그리고, 시그마(sigma) 필터가 있다. 민(mean) 필터는 영상을 부드럽게 하고 잡음을 감쇄시키는데 있어서 가장 간단하고 직관적인 방법으로, 작은 공간창의 평균값이 여과된 결과로 계산된다. 일반적으로, 간단한 구현을 위해 3X3 정방형 커넬(kernel)이 사용된다. 그러나, 민(mean) 필터는 심각한 영상의 번짐을 발생시킨다.Spatial noise reduction is filtering by dividing every pixel of the current image frame into a small local window. Such filters are usually treated as convolution filters based on kernels. Examples of such filters are a mean filter, a Gaussian filter, a median filter, and a sigma filter. The mean filter is the simplest and most intuitive way to soften the image and reduce the noise. The mean value of the small space window is calculated as the filtered result. In general, a 3X3 square kernel is used for a simple implementation. However, the mean filter causes severe image bleeding.

가우시안 필터링(Gaussian filtering)은 잡음을 제거하기 위해 "종형(bell-shaped)" 커넬을 사용한다. 가우시안 필터링은 작은 공간창 내의 픽셀의 가중 평균 실행을 의미한다. 그러나, 가우시안 필터링도 번짐현상을 야기한다.(번짐의 심각도는 가우시안(Gaussian) 분포의 표준편차를 조절하여 제어할 수 있다.)Gaussian filtering uses a "bell-shaped" kernel to remove noise. Gaussian filtering means weighted averaged execution of pixels within a small space window. However, Gaussian filtering also causes bleeding (the severity of the bleeding can be controlled by adjusting the standard deviation of the Gaussian distribution).

미디언 필터링(Median filtering)은 비선형적인 방법이다. 그것은 작은 공간창내의 픽셀들을 나열하고, 필터링된 결과로서 이들의 중앙값을 취한다. 미디 언(Median) 필터는 새로운 비현실적인 픽셀값을 발생시키지 아니하고 선명한 경계를 유지한다. 또한, 고르지 못한(aliasing) 픽셀의 값은 필터링된 결과에 영향을 미치지 않을 것이다. 그러나, 입력 픽셀의 개수가 증가함에 따라, 픽셀을 정열하는데 필요한 계산에 소모되는 비용이 실제적인 구현을 하기에는 너무 비싸진다.Median filtering is a nonlinear method. It lists the pixels in a small space window and takes their median as the filtered result. Median filters do not generate new unrealistic pixel values and maintain sharp boundaries. Also, the value of aliasing pixels will not affect the filtered result. However, as the number of input pixels increases, the cost of computation required to align the pixels becomes too expensive for a practical implementation.

그러한 문제를 해결하기 위해, 몇몇의 에지-오리엔티드 공간 필터링 알고리즘(edge-oriented spatial filtering algorithms)이 개발되어왔다. 그러나, 이러한 알고리즘(algorithms)은 고가의 장비를 요구하고, 특히 잡음이 섞인 영상에서 경계탐지(edge-detection)가 실패하였을 경우, 아티팩트(artifacts)를 야기한다. 다른 알고리즘은 영상을 주파수 축에서 변환하여 고주파 성분을 감쇄시킨다. 영상의 세밀한 부분 또한 고주파 성분이기 때문에, 그러한 방법 또한 화면을 번지게 한다. To solve such a problem, several edge-oriented spatial filtering algorithms have been developed. However, these algorithms require expensive equipment and cause artifacts, especially when edge-detection fails in a noisy image. Another algorithm transforms the image on the frequency axis to attenuate high frequency components. Since the details of the image are also high frequency components, such methods also blur the screen.

시간 잡음 감쇄는 먼저 현재 영상 프레임과 그것들의 이웃하는 프레임 사이의 움직임 정보를 검사한다. 픽셀들을 움직임 영역과 비움직임 영역으로 구분한다. 비움직임 영역에서 필터는 시간축을 따라 현재 프레임과 이웃하는 프레임의 픽셀들을 적용된다. 움직임 영역에서 시간 필터는 움직임 번짐을 피하기 위해 작동하지 않는다. 일반적으로 시간 잡음 감쇄는 세밀한 부분과 경계를 유지하는데 공간 잡음 감쇄보다 좋다. 그러나 필터링의 성능이 움직임 검출의 정확성에 의존한다. 만약 움직임 검출에 실패하면 움직임의 번짐이 발생한다. 그러한 단점은 시간 잡음 감쇄의 적용을 제한한다.The temporal noise attenuation first examines the motion information between the current image frames and their neighboring frames. The pixels are divided into a motion area and an empty area. In the blank area, the filter applies pixels of the current frame and neighboring frames along the time axis. In the motion domain, the time filter does not work to avoid motion blur. In general, temporal noise attenuation is better than spatial noise attenuation, keeping the details and boundaries. However, the performance of filtering depends on the accuracy of motion detection. If the motion detection fails, motion blur occurs. Such a disadvantage limits the application of time noise attenuation.

따라서, 움직임의 번짐을 줄이기 위한 잡음 감쇄 방법과 시스템이 요구된 다. Therefore, there is a need for a method and system for noise reduction to reduce blurring of motion.

상기와 같은 문제를 해결하기 위해, 본 발명은 전역 움직임을 추정하고, 시간 필터링의 전체 이득을 조정하는 개선된 시간 잡음 감쇄 방법과 시스템(improved temporal noise reduction method and system)을 제공하는 것을 목적으로 한다.In order to solve the above problem, the present invention aims to provide an improved temporal noise reduction method and system for estimating global motion and adjusting the overall gain of temporal filtering. .

본 발명의 일 실시예에 따르면, 시간 잡음 감쇄는 잡음이 섞인 현재 입력 영상 프레임과 메모리에 저장되어 있는 이전의 필터링된 영상 프레임(previous filtered frame), 2개의 영상 프레임에 적용된다. 본 발명의 방법에서는 입력 영상 시퀀스(sequence)의 잡음 분산과 표준편차를 추정하기 위해 잡음 추정이 우선 실행된다. 그런 다음, 잡음이 섞인 현재의 프레임의 픽셀들과 이전의 잡음 감쇄된 프레임의 대응하는 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 얻기 위해 움직임 추정이 실행된다. 상기 움직임 벡터에서 영상 시퀀스의 카메라 움직임을 추정하기 위해 전역 움직임 추정이 실행된다. 신뢰할 수 있는 전역 움직임 벡터(reliable global motion vector)가 얻어지면, 시간 필터링(temporal fitering)의 전체적인 이득은 상기 추정된 잡음 레벨을 조정하기 위해 감소하게 된다. 따라서, 움직임 번짐은 방지된다.According to one embodiment of the invention, the temporal noise attenuation is applied to the current input image frame which is noisy and the previous filtered image frame stored in the memory, two image frames. In the method of the present invention, noise estimation is first performed to estimate the noise variance and the standard deviation of the input image sequence. Then, motion estimation is performed to obtain a motion vector representing the relative motion between the pixels of the current frame that are noisy and the corresponding pixels of the previous noise attenuated frame. Global motion estimation is performed to estimate the camera motion of the image sequence in the motion vector. Once a reliable global motion vector is obtained, the overall gain of temporal fitering is reduced to adjust the estimated noise level. Thus, motion blur is prevented.

이하 본 발명의 여러 실시예, 특성 그리고 장점을 첨부된 도면에 의거하여 보다 상세히 설명하고자 한다.Hereinafter, various embodiments, features, and advantages of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 잡음이 섞인 현재 입력 영상 프레임(current input noisy video frame)과 이전의 잡음 감쇄된 프레임에 움직임 추정을 적용하는 단계(10); 상기 잡음이 섞인 현재 입력 영상 프레임의 픽셀들과 대응하는 상기 이전의 잡음 감쇄된 프레임의 픽셀들 사이에 상대적인 움직임을 나타내는 움직임 벡터를 얻는 단계(12); 영상 시퀀스의 카메라 움직임(camera motion)을 추정하기 위해 상기 움직임 벡터를 사용하여 전역 움직임 추정을 실행하는 단계(14); 움직임에 의한 번짐을 줄이기 위해 잡음 레벨(level)을 조정하는 단계(16); 그리고 잡음이 섞인 상기 현재 입력 영상 프레임과 이전의 잠음 감쇄된 프레임에, 잡음 감쇄 출력 프레임을 만들기 위해, 상기 추정된 전역 움직임을 이용해 시간 잡음 감쇄를 적용하는 단계를 포함하는 본 발명 방법 실시예의 예시 플로우차트(example flowchart)를 도시한다. 상기 단계들은 영상 시퀀스에서 다음에 들어오는 오는 프레임들에 대해 반복되어 적용된다.1 shows a step 10 of applying motion estimation to a noisy current input video frame and a previous noise attenuated frame; Obtaining (12) a motion vector representing a relative motion between the pixels of the noisy current input image frame and the pixels of the previous noise attenuated frame; Performing (14) global motion estimation using the motion vector to estimate camera motion of an image sequence; Adjusting a noise level to reduce blurring due to movement (16); And applying temporal noise attenuation using the estimated global motion to produce a noise attenuated output frame to the current input image frame and the previous attenuated frame that are noisy. Show an example flowchart. The above steps are applied repeatedly for the next incoming frame in the image sequence.

도 2는 본 발명의 실시예에 따라 상기방법을 구현한 움직임 보상 시간 잡음 감쇄 시스템(motion-compensated temporal noise reduction system)(100)을 기능 블록 다이어그램(functional block diagram)으로 도시한 예이다. 시간 잡음 감쇄 문제와 상기 본 발명의 시스템 실시예를 도 2에 체계적으로 도시하기 위해 '

Figure 112006022109071-pat00001
'를 't'시점에서의 상기 입력 영상 프레임이라 하고, 세로 좌표를 i, 가로 좌표
Figure 112006022109071-pat00002
를 j라 할 때
Figure 112006022109071-pat00003
를 좌표 (i,j)에 대응하는 픽셀값이라 한다. 입력 영상 시퀀스에 부가적, 독립적으로 동일하게 분포하는 잡음으로서 분산
Figure 112006022109071-pat00004
를 갖는 영(zero) 평균 가우시안(Gaussian) 잡음이 발생한다고 가정하면 상기
Figure 112006022109071-pat00005
픽셀은 다음과 같이 표시된다. 2 is an example of a motion-compensated temporal noise reduction system 100 implementing the above method according to an embodiment of the present invention in a functional block diagram. To systematically illustrate the time noise attenuation problem and the system embodiment of the present invention in FIG.
Figure 112006022109071-pat00001
'Is the input image frame at the' t 'time, the vertical coordinate is i, the horizontal coordinate
Figure 112006022109071-pat00002
When j is
Figure 112006022109071-pat00003
Denotes a pixel value corresponding to the coordinate (i, j). Distributed as noise, additionally and independently equally distributed over the input image sequence
Figure 112006022109071-pat00004
Assuming a zero mean Gaussian noise with
Figure 112006022109071-pat00005
The pixels are represented as follows.

Figure 112006022109071-pat00006
`,
Figure 112006022109071-pat00006
`,

여기서

Figure 112006022109071-pat00007
는 잡음의 방해가 없는 본래의 픽셀값을 나타내고
Figure 112006022109071-pat00008
는 가우시안 분포의 잡음 성분을 나타낸다.here
Figure 112006022109071-pat00007
Denotes the original pixel value without disturbing noise
Figure 112006022109071-pat00008
Denotes the noise component of the Gaussian distribution.

도 2에 도시된 상기 시스템(100)은 잡음 추정기(noise estimation module) (102), 움직임 추정기(motion estimation module)(104), 전역 움직임 추정기(global motion estimation module)(106), 잡음 레벨 조정기(noise level adjustment midule)(108), 메모리(memory)(110) 그리고 움직임 보상 시간 필터(motion-compensated temporal filtering module)(112)로 구성된다.The system 100 shown in FIG. 2 includes a noise estimation module 102, a motion estimation module 104, a global motion estimation module 106, and a noise level adjuster ( noise level adjustment midule 108, memory 110, and motion-compensated temporal filtering module 112.

상기 잡음 추정기(102)는 입력 영상 시퀀스 g의 잡음의 분산(variance)/표준편차(standard deviation)를 추정한다. 움직임 추정기(104)는 잡음이 섞인 현재 프레임

Figure 112006022109071-pat00009
의 픽셀들과 이에 대응하는 잡음 감쇄된 프레임
Figure 112006022109071-pat00010
의 픽셀들 간의 상대적인 움직임을 나타내는 움직임 벡터들을 추정한다. 상기 움직임 벡터를 통해서 상기 전역 움직임 추정기(106)는 영상 시퀀스의 카메라 움직임을 추정한다. 만약 신뢰할 수 있는 전역 움직임이 추정되면, 상기 잡음 레벨 조정기(108)는 잡음의 분산/표준편차를 조정하여, 잡음 감쇄된 프레임
Figure 112006022109071-pat00011
를 생성하는 상기 움직임 보상 시간 필터(112)에서 잡음 감쇄가 적게 일어나도록 한다. 따라서, 더 적은 움직임 번짐이 발생하게 된다. 상기 메모리(110)은 다음에 오는 프레임을 위해 이전의 잡음 감쇄된 프레임으로서 상기 잡음 감쇄된 프레임
Figure 112006022109071-pat00012
를 저장한다. The noise estimator 102 estimates the variance / standard deviation of the noise of the input image sequence g. The motion estimator 104 is a noisy current frame
Figure 112006022109071-pat00009
Pixels with corresponding noise attenuated frame
Figure 112006022109071-pat00010
Estimate the motion vectors representing the relative motion between the pixels. Through the motion vectors, the global motion estimator 106 estimates the camera motion of the image sequence. If reliable global motion is estimated, the noise level adjuster 108 adjusts the variance / standard deviation of the noise to reduce the noise attenuated frame.
Figure 112006022109071-pat00011
Less noise attenuation occurs in the motion compensation time filter 112 that generates. Thus, less motion blur occurs. The memory 110 is the noise attenuated frame as a previous noise attenuated frame for the next frame.
Figure 112006022109071-pat00012
Save it.

상기 잡음 추정기(102)는 영상 시퀀스의 잡음 분산과 잡음 표준편차

Figure 112006022109071-pat00013
를 추정한다. 본 명세서에 참조로서 삽입되며, 공통 양도된 미국 특허출원 번호 10/991,265 "영상 시퀀스로부터 잡음 분산을 추정하는 방법(Methods to estimate noise variance from a video sequence)"과 미국 특허출원 번호 11/100,369 "시간 잡음 추정의 신뢰도 추정(Reliability estimation of temporal noise estimation)", 미국 특허출원번호 11/187,528 "영상 시퀀스로부터 분산을 추정하는 확장된 방법(Extended method to estimate noise variance from a video sequence)" 은 이러한 잡음 추정기(102)의 예들을 제공한다. 참조문헌에 기재된 잡음 추정기(102)의 실시예에 의하면, 잡음 추정기(102)는 우선 잡음이 섞인 현재 프레임
Figure 112006022109071-pat00014
와 이전의 잡음이 섞인 프레임의
Figure 112006022109071-pat00015
을 비교하여 두 개의 연속적인 프레임 내 로컬 윈도우(local window) 상에서의 차이를 계산하여 이미지 구조를 제거한다. 그런 다음, 로컬 차의 분포도(distribution of local difference)로부터 잡음의 분산/표준 편차를 추정한다. 이 분야에서 통상의 기술을 가진 자는 로컬 차를 구하는 방법에 있어서 MAE(mean absolute error), MSE(mean square error), DLM(difference of local mean) 또는 다른 방법 적용과 이의 변형이 가능하다.The noise estimator 102 performs noise variance and noise standard deviation of an image sequence.
Figure 112006022109071-pat00013
Estimate US Patent Application No. 10 / 991,265 "Methods to estimate noise variance from a video sequence" and US Patent Application No. 11 / 100,369 "times, incorporated herein by reference Reliability estimation of temporal noise estimation ", US patent application Ser. No. 11 / 187,528," Extended method to estimate noise variance from a video sequence " Examples of 102 are provided. In accordance with an embodiment of the noise estimator 102 described in the reference, the noise estimator 102 first determines the current frame of mixed noise.
Figure 112006022109071-pat00014
And the previous noise of the frame
Figure 112006022109071-pat00015
Compare and calculate the difference on the local window in two consecutive frames to remove the image structure. The variance / standard deviation of the noise is then estimated from the distribution of local difference. One of ordinary skill in the art can apply a mean absolute error (MAE), mean square error (MSE), difference of local mean (DLM) or other methods in the method of obtaining a local difference, and variations thereof.

상기 움직임 추정기(104)는 잡음이 섞인 현재 프레임

Figure 112006022109071-pat00016
의 픽셀들과 이에 대응하는 이전의 잡음 감쇄된 프레임
Figure 112006022109071-pat00017
의 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 추정한다. 움직임 추정 방법과 관련하여 제한이 없다. 상기 움직임 추정의 하나의 예로서, 프레임 내의 정해진 검색 범위(search area)의 모든 로케이션(location)을 검색하고, 매칭 레지듀얼 에러(matching residual error)가 최소화되는 위치를 선택하는 풀서치 블록 매칭 알고리즘(full search block matching algorithm)이 있다. 이 분야에서 통상의 기술을 가진 자에게 알려진 바와 같이 세단계 서칭(three step searching), 다이아몬드 서칭(diamond searching), 계층적/다분해 움직임 추정(hierarchical/multi-resolution motion estimation), 오브젝트 베이스 움직임 추정(object-based motion estimation) 등과 같은 다른 움직임 추정 방법이 사용될 수도 있다.The motion estimator 104 is a noisy current frame
Figure 112006022109071-pat00016
Pixels and corresponding previous noise canceled frame
Figure 112006022109071-pat00017
Estimate a motion vector that represents the relative motion between the pixels of. There is no limitation with regard to the motion estimation method. As an example of the motion estimation, a full search block matching algorithm for searching all locations of a given search area in a frame and selecting a location where a matching residual error is minimized ( full search block matching algorithm). Three step searching, diamond searching, hierarchical / multi-resolution motion estimation, object-based motion estimation, as known to those skilled in the art. Other motion estimation methods, such as object-based motion estimation, may be used.

상기 전역 움직임 추정기(global motion estimation module)(106)는 먼저 상기 움직임 추정기(104)에서 추정된 움직임 벡터의 히스토그램(histogram)을 계산한다. 상기 히스토그램에서 가장 많이 세어진 움직임 벡터가 전역 움직임 벡터로 선택된다. 상기 전역 움직임 벡터를

Figure 112006022109071-pat00018
라 하고, 선택된 전역 움직임벡터의 카운트(count) 값을
Figure 112006022109071-pat00019
라고 하자.
Figure 112006022109071-pat00020
이 모든 움직임벡터의 세어진 횟수라고 할 때, 파라미터(parameter)
Figure 112006022109071-pat00021
Figure 112006022109071-pat00022
로 계산된다. 파라미터
Figure 112006022109071-pat00023
가 클수록, 더 많은 블록들/픽셀들이 전역 움직임을 따르고, 상기 전역 움직임 벡터
Figure 112006022109071-pat00024
는 더 신뢰할 수 있게 된다. 그런 다음 상기 전역 움직임 벡터
Figure 112006022109071-pat00025
와 상기 파라미터
Figure 112006022109071-pat00026
는 전역 움직임 추정기(106)에 의해 잡음 레벨 조정기(noise level adjustment module)(108)로 전달된다.The global motion estimation module 106 first calculates a histogram of the motion vector estimated by the motion estimator 104. The motion vector counted the most in the histogram is selected as the global motion vector. The global motion vector
Figure 112006022109071-pat00018
The count value of the selected global motion vector
Figure 112006022109071-pat00019
Let's say
Figure 112006022109071-pat00020
Given the counted number of all motion vectors,
Figure 112006022109071-pat00021
Is
Figure 112006022109071-pat00022
Is calculated. parameter
Figure 112006022109071-pat00023
The larger is, the more blocks / pixels follow the global motion and the global motion vector
Figure 112006022109071-pat00024
Becomes more reliable. Then the global motion vector
Figure 112006022109071-pat00025
And the above parameters
Figure 112006022109071-pat00026
Is transmitted by the global motion estimator 106 to the noise level adjustment module 108.

상기 잡음 레벨 조정기(108)는 우선 상기 전역 움직임 벡터

Figure 112006022109071-pat00027
를 검사한다. 만약 전역 움직임 벡터
Figure 112006022109071-pat00028
가 영(zero)이라면, 카메라의 움직임이 없는 것을 나타내고 잡음 레벨 조정기(108)는 아무런 조정도 실행하지 않는다. 만약 상기 전역 움직임 벡터
Figure 112006022109071-pat00029
가 영(zero)이 아니라면 추정된 잡음의 표준 편차
Figure 112006022109071-pat00030
Figure 112006022109071-pat00031
로 조정된다.The noise level adjuster 108 first determines the global motion vector.
Figure 112006022109071-pat00027
Check it. If global motion vector
Figure 112006022109071-pat00028
If is zero, it indicates no camera movement and noise level adjuster 108 makes no adjustments. If the global motion vector
Figure 112006022109071-pat00029
If is not zero, the standard deviation of the estimated noise
Figure 112006022109071-pat00030
Is
Figure 112006022109071-pat00031
Is adjusted.

도 3 (a) - (d)는 조정 파라미터(adjustment parameter)

Figure 112006022109071-pat00032
의 예를 도시한다.
Figure 112006022109071-pat00033
Figure 112006022109071-pat00034
Figure 112006022109071-pat00035
을 만족하는 두 임계치라고 한다. 만약
Figure 112006022109071-pat00036
이면 검출된 카메라의 움직임은 신뢰할 수 없는 것이고, 화면에 전역 움직임(gloabal motion)은 없는 것으로 추정된다. 따라서
Figure 112006022109071-pat00037
가 1.0으로 설정되고, 아무런 조정도 실행되지 않는다. 만약
Figure 112006022109071-pat00038
이면 검출된 카메라 움직임은 매우 신뢰할 수 있는 것이고,
Figure 112006022109071-pat00039
Figure 112006022109071-pat00040
을 만족하는 상수
Figure 112006022109071-pat00041
로 설정된다. 만약
Figure 112006022109071-pat00042
이면,
Figure 112006022109071-pat00043
는 도 3(a)에 도시된 바와 같이
Figure 112006022109071-pat00044
에 대하여 선형적인(linearly) 값을 가질 수 있고, 도 3 (b)-(d)에 도시된 바와 같이 비선형적으로 보간된(non-linearly interpolated) 값을 가질 수도 있다.
Figure 112006022109071-pat00045
에 따라 단순 감소하기만 한다면 (monotonically decreasing)
Figure 112006022109071-pat00046
가 보간되는 방법에 대한 제한은 없다.3 (a)-(d) show an adjustment parameter
Figure 112006022109071-pat00032
Shows an example.
Figure 112006022109071-pat00033
and
Figure 112006022109071-pat00034
To
Figure 112006022109071-pat00035
Are called two thresholds. if
Figure 112006022109071-pat00036
It is assumed that the detected camera movement is unreliable, and there is no global motion on the screen. therefore
Figure 112006022109071-pat00037
Is set to 1.0, and no adjustment is made. if
Figure 112006022109071-pat00038
The camera movement detected is very reliable
Figure 112006022109071-pat00039
Is
Figure 112006022109071-pat00040
Constant that satisfies
Figure 112006022109071-pat00041
Is set to. if
Figure 112006022109071-pat00042
If,
Figure 112006022109071-pat00043
As shown in Fig. 3 (a)
Figure 112006022109071-pat00044
It may have a linear value with respect to and may have a non-linearly interpolated value as shown in FIGS. 3 (b)-(d).
Figure 112006022109071-pat00045
Monotonically decreasing
Figure 112006022109071-pat00046
There is no restriction on how it is interpolated.

상기 잡음 레벨 조정기(108)에 의해 결정된 조정된 잡음 레벨(즉, 조정된 추정 잡음의 표준편차

Figure 112006022109071-pat00047
)은 움직임 보상 시간 필터(motion-compensated temporal filtering module)(112)에 공급된다. 조정된 잡음 레벨
Figure 112006022109071-pat00048
에 근거하여, 움직임 보상 시간 필터(112)는 잡음 감쇄된 프레임
Figure 112006022109071-pat00049
를 얻기 위해 현재 프레임
Figure 112006022109071-pat00050
와 이전의 필터링 된 프레임
Figure 112006022109071-pat00051
에 움직임 보상 시간 필터링을 수행한다. 본 명세서에 참조로서 삽입되며, 공통 양도된 미국 특허출원 출원번호 11/106,998 "움직임 보상 시간 잡음 감쇄 방법(A method of motion compensated temporal noise reduction"과 2004년 미국 특허출원 출원번호 11/025,173 "비디오 시퀀스에서의 시간 잡음 감쇄 방법(A method of temporal noise reduction in video sequence)"은 이러한 움직임 보상 시간 필터(112)의 예들을 제공한다. 참조문헌에 기재된 움직임 보상 시간 필터(112)의 실시예에 따르면, 움직임 보상 시간 필터(112)는
Figure 112006022109071-pat00052
로 표시되는 현재의 잡음이 있는 프레임 및
Figure 112006022109071-pat00053
로 표시되는 메모리에서 읽혀지는 이전의 필터된 프레임 상에 시간축을 따라 필터링하는데, 이때 움직임 벡터를 이용하여, 비-움직임 영역에 있는 픽셀들은 시간축을 따라 필터링되는 반면, 움직임 영역에 있는 픽셀들은 필터링되지 않는다. 또한, 또다른 실시예에 따르면, 비-움직임 영역에서의 고품질의 필터링된 프레임과 움직임 영역에서의 필터링을 스위치 오프(switching off)함으로써 야기되는 필터링되지 않는 프레임과의 비대칭성을 해결하고자, 잡음이 섞인 현재 프레임의 픽셀들과 이전의 잡음 감쇠된 프레임에 있어서 대응하는 픽셀들의 가중치 평균을 계산함으로써 움직임 보상 시간 필터링을 할 수 있다. 상기 기재한 잡음 감쇄를 잡음-적응성(noise-adaptive)이라 한다. 만약 검출된 잡음 레벨이 더 높으면, 더 많은 잡음 감쇄가 수행된다. 만약 상기 전역 움직임 벡터가 신뢰할 수 있는 것으로 추정되고, 잡음 레벨이 잡음 레벨 조정기(108)에서 감소된다면, 더 적은 잡음 감쇄가 움직임 번짐을 방지하기 위해 수행될 것이다. Adjusted noise level determined by the noise level adjuster 108 (i.e., standard deviation of the estimated estimated noise)
Figure 112006022109071-pat00047
Is supplied to a motion-compensated temporal filtering module 112. Adjusted Noise Level
Figure 112006022109071-pat00048
Based on the motion compensation time filter 112, the noise canceled frame
Figure 112006022109071-pat00049
Current frame to get
Figure 112006022109071-pat00050
Previous filtered frame with
Figure 112006022109071-pat00051
Perform motion compensation time filtering. Commonly assigned US patent application Ser. No. 11 / 106,998 "A method of motion compensated temporal noise reduction" and 2004 US patent application Ser. No. 11 / 025,173 "Video sequences, incorporated herein by reference. A method of temporal noise reduction in video sequence "provides examples of such motion compensation time filter 112. According to an embodiment of the motion compensation time filter 112 described in the reference, The motion compensation time filter 112
Figure 112006022109071-pat00052
The current noisy frame indicated by
Figure 112006022109071-pat00053
Filters along the time axis on a previous filtered frame that is read from the memory, denoted with a motion vector, where pixels in the non-motion region are filtered along the time axis, while pixels in the motion region are not filtered. Do not. Further, according to another embodiment, to solve the asymmetry between the high quality filtered frame in the non-motion region and the unfiltered frame caused by switching off the filtering in the motion region, Motion compensation time filtering can be performed by calculating the weighted average of the pixels of the current frame that are mixed and the corresponding pixels in the previous noise attenuated frame. The noise attenuation described above is called noise-adaptive. If the detected noise level is higher, more noise attenuation is performed. If the global motion vector is assumed to be reliable and the noise level is reduced in the noise level adjuster 108, less noise attenuation will be performed to prevent motion blur.

이 분야에서 통상의 기술을 가진 자는 본 발명이 프로그레시브와 인터레이스 영상(progressive and interlaced videos) 모두에 사용될 수 있다는 것을 알 수 있다. 인터레이스 영상의 홀수와 짝수 영역은 두개의 별개 프로그레시브 영상 시퀀스(progressive video sequence)로 처리될 수 있다; 또는 두개의 영역이 처리되기 전에 하나의 프레임으로 병합(merged into a single frame)될 수 있다.One of ordinary skill in the art will appreciate that the present invention can be used for both progressive and interlaced videos. Odd and even regions of an interlaced image can be processed into two separate progressive video sequences; Alternatively, two regions may be merged into a single frame before being processed.

이상 도면과 명세서에 최적 실시예들이 개시되었다.; 그러나 다른 실시예들도 가능하며, 청구된 발명의 사상이나 범위는 상기 기재한 최적 실시예의 상세한 설명에 한정되어서는 안 된다.The best embodiments have been disclosed in the drawings and specification above; However, other embodiments are possible, and the spirit or scope of the claimed invention should not be limited to the details of the optimal embodiments described above.

일 실시예에 있어서, 본 발명은 전역 움직임을 추정하고, 시간 필터링의 전 체 이득을 조정하여 개선된 시간 잡음 감쇄 방법과 시스템을 제공한다.In one embodiment, the present invention provides an improved time noise reduction method and system by estimating global motion and adjusting the overall gain of time filtering.

본 발명의 일 실시예에 있어서 시간 잡음 감쇄는 잡음이 섞인 현재 프레임과 메모리에 저장되어 있는 이전의 필터링된 프레임, 두개의 영상 프레임들에 적용된다. 이 방법에서는 우선 입력 영상 시퀀스의 잡음 분산/표준편차를 추정하기 위하여 잡음 추정이 실행된다. 그 다음, 잡음이 섞인 현재 프레임의 픽셀들과 이에 대응하는 이전의 잡음 감쇄된 프레임의 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 얻기 위해 움직임 추정이 적용된다. 상기 움직임 벡터로부터 영상 시퀀스의 카메라 움직임을 추정하기 위하여 전역 움직임 추정이 적용된다. 신뢰할 수 있는 전역 움직임이 얻어지면, 시간 필터링의 전체 이득은 추정된 잡음 레벨을 감소시키기 위해 조정된다. 움직임 번짐은 이와 같은 방법으로 방지된다.In one embodiment of the present invention, temporal noise attenuation is applied to two image frames: the current frame with noise and the previous filtered frame stored in memory. In this method, noise estimation is first performed to estimate the noise variance / standard deviation of the input image sequence. Then, motion estimation is applied to obtain a motion vector that represents the relative motion between the pixels of the noisy current frame and the corresponding pixels of the previous noise attenuated frame. Global motion estimation is applied to estimate the camera motion of the image sequence from the motion vector. Once a reliable global motion is obtained, the overall gain of temporal filtering is adjusted to reduce the estimated noise level. Movement blur is prevented in this way.

Claims (25)

영상 프레임 시퀀스의 영상 잡음 감쇄 방법에 있어서,In the video noise reduction method of the video frame sequence, 잡음이 섞인 현재 프레임의 픽셀들과 이에 대응하는 이전의 잡음 감쇄된 프레임의 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 얻기 위해 상기 현재 잡음이 섞인 영상 프레임과 상기 이전의 잡음 감쇄된 프레임에 움직임 추정을 실행하는 단계와;Motion estimation on the current noisy image frame and the previous noise attenuated frame to obtain a motion vector representing the relative motion between the pixels of the noisy current frame and corresponding pixels of the previous noisy frame. Executing; 상기 움직임 벡터를 이용해 영상 시퀀스의 전역 움직임 벡터를 추정하기 위해 전역 움직임 추정을 실행하는 단계와;Performing global motion estimation to estimate a global motion vector of an image sequence using the motion vector; 상기 전역 움직임 벡터에 근거하여 잡음 감쇄된 프레임 출력을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.And determining a noise attenuated frame output based on the global motion vector. 제1항에 있어서, The method of claim 1, 잡음 감쇄된 영상 프레임
Figure 112006022109071-pat00054
출력을 결정하기 위해 상기 추정된 전역 움직임 벡터를 이용하여 잡음이 섞인 현재 영상 프레임
Figure 112006022109071-pat00055
와 이전의 잡음 감쇄된 영상 프레임
Figure 112006022109071-pat00056
에 시간적 잡음 감쇄를 수행하는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
Noise-Attenuated Picture Frames
Figure 112006022109071-pat00054
Noisy current image frame using the estimated global motion vector to determine output
Figure 112006022109071-pat00055
And previous noise canceled picture frames
Figure 112006022109071-pat00056
And performing a temporal noise attenuation at the video noise reduction method.
제2항에 있어서, The method of claim 2, 상기 전역 움직임 벡터가 신뢰할 수 있는지를 결정하여, 만약 그렇다면, 추정된 잡음 레벨을 조정함으로써 상기 시간 필터링의 전체 이득을 줄여 움직임 번짐을 줄이는 단계를 더 포함하는 것을 특징으로 하는 영상 시퀀스의 영상 잡음 감쇄 방법.Determining whether the global motion vector is reliable, and if so, further comprising reducing the overall gain of the temporal filtering by reducing estimated motion blur by adjusting the estimated noise level. . 제1항에 있어서, 상기 전역 움직임 추정을 실행하는 단계는:The method of claim 1, wherein performing global motion estimation comprises: 상기 움직임 벡터의 히스토그램을 계산하는 단계와;Calculating a histogram of the motion vector; 상기 히스토그램을 이용하여 상기 영상 시퀀스의 전역 움직임 벡터를 추정하는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.And estimating a global motion vector of the image sequence by using the histogram. 제4항에 있어서, 상기 전역 움직임 추정을 실행하는 단계는 5. The method of claim 4, wherein performing global motion estimation 상기 히스토그램에서 최대 카운트 값을 가진 움직임 벡터를 상기 전역 움직임 벡터로 선택하는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.And selecting the motion vector having the maximum count value in the histogram as the global motion vector. 제5항에 있어서, 상기 전역 움직임 추정을 실행하는 단계는 6. The method of claim 5, wherein performing global motion estimation 상기 히스토그램에서 선택된 상기 전역 움직임 벡터
Figure 112006022109071-pat00057
의 카운트 값을
Figure 112006022109071-pat00058
라 하고, 전체 움직임 벡터의 카운트 값를
Figure 112006022109071-pat00059
이라고 할 때, 파라미터
Figure 112006022109071-pat00060
Figure 112006022109071-pat00061
로 계산하는 단계를 더 포함하며, 상기 파라미터
Figure 112006022109071-pat00062
가 더 커질수록 더 많은 픽셀들이 전역 움직임을 따르고 상기 전역 움직임 벡터
Figure 112006022109071-pat00063
가 더 신뢰할 수 있음을 의미하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
The global motion vector selected from the histogram
Figure 112006022109071-pat00057
Count value of
Figure 112006022109071-pat00058
And the count value of the entire motion vector
Figure 112006022109071-pat00059
Is called a parameter
Figure 112006022109071-pat00060
To
Figure 112006022109071-pat00061
Further comprising calculating the parameter
Figure 112006022109071-pat00062
The larger is, the more pixels follow the global motion and the global motion vector
Figure 112006022109071-pat00063
Means that is more reliable.
제6항에 있어서, The method of claim 6, 움직임 번짐을 줄이기 위하여 상기 파라미터
Figure 112006022109071-pat00064
에 근거하여 잡음 레벨 조정을 실행 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
Parameter to reduce motion blur
Figure 112006022109071-pat00064
And performing a noise level adjustment based on the video noise reduction method.
제7항에 있어서, The method of claim 7, wherein 상기 파라미터
Figure 112006022109071-pat00065
에 근거하여 상기 전역 움직임 벡터가 신뢰할 수 있는지 결정하고 만약 그렇다면 조정 파라미터를 이용하여 상기 추정된 잡음 레벨을 조정함으로써 시간 필터링의 전체 이득을 줄여 움직임 번짐을 줄이는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
The parameter
Figure 112006022109071-pat00065
Determining whether the global motion vector is reliable based on the video signal, and if so, adjusting the estimated noise level using an adjustment parameter to reduce the overall gain of temporal filtering to reduce motion blur. Attenuation method.
제8항에 있어서, 만약 상기 전역 움직임 벡터
Figure 112006022109071-pat00066
가 영(zero)이라면, 카메라 움직임이 없음을 의미하고 따라서 아무런 조정도 수행하지 않는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
9. The method of claim 8, wherein the global motion vector
Figure 112006022109071-pat00066
If is zero, it means that there is no camera movement and thus no adjustment is further performed.
제9항에 있어서,
Figure 112006022109071-pat00067
를 조정된 추정 잡음의 표준 편차라고 하고,
Figure 112006022109071-pat00068
를 조정 파라미터라 할 때, 만약 상기 전역 움직임 벡터
Figure 112006022109071-pat00069
가 영(zero)이 아니라면, 상기 추정된 잡음의 표준편차
Figure 112006022109071-pat00070
Figure 112006022109071-pat00071
에 의해 조정하는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
The method of claim 9,
Figure 112006022109071-pat00067
Is the standard deviation of the adjusted estimated noise,
Figure 112006022109071-pat00068
Is an adjustment parameter, the global motion vector
Figure 112006022109071-pat00069
If is not zero, the standard deviation of the estimated noise
Figure 112006022109071-pat00070
To
Figure 112006022109071-pat00071
The video noise reduction method further comprises the step of adjusting by.
제10항에 있어서,
Figure 112006022109071-pat00072
Figure 112006022109071-pat00073
Figure 112006022109071-pat00074
을 만족하는 임계치일 때,
The method of claim 10,
Figure 112006022109071-pat00072
and
Figure 112006022109071-pat00073
end
Figure 112006022109071-pat00074
When the threshold meets
만약
Figure 112006022109071-pat00075
이면 검출된 전역 움직임 벡터는 신뢰할 수 없는 것을 나타내고, 아무런 조정도 실행되지 않도록
Figure 112006022109071-pat00076
를 1로 설정하는 단계;
if
Figure 112006022109071-pat00075
If, then the detected global motion vector indicates unreliable, so that no adjustment is performed.
Figure 112006022109071-pat00076
Setting to 1;
만약
Figure 112006022109071-pat00077
이면 검출된 전역 움직임 벡터는 매우 신뢰할 수 있는 것을 나타내고,
Figure 112006022109071-pat00078
Figure 112006022109071-pat00079
을 만족하는 미리 정의된
Figure 112006022109071-pat00080
로 설정하는 단계;
if
Figure 112006022109071-pat00077
Then the detected global motion vector represents very reliable,
Figure 112006022109071-pat00078
To
Figure 112006022109071-pat00079
Predefined
Figure 112006022109071-pat00080
Setting to;
만약
Figure 112006022109071-pat00081
이면,
Figure 112006022109071-pat00082
의 단순 감소 함수를 이용하여
Figure 112006022109071-pat00083
를 보간하는 단계를 포함하는 조정 파라미터
Figure 112006022109071-pat00084
를 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
if
Figure 112006022109071-pat00081
If,
Figure 112006022109071-pat00082
Using the simple reduction function of
Figure 112006022109071-pat00083
An adjustment parameter comprising interpolating
Figure 112006022109071-pat00084
The image noise reduction method further comprises the step of determining.
영상 프레임 시퀀스의 영상 잡음 감쇄를 위한 영상 처리 시스템에 있어서,An image processing system for image noise reduction of an image frame sequence, 입력 영상 시퀀스 g의 잡음 레벨을 추정하는 잡음 추정기;A noise estimator for estimating a noise level of an input image sequence g; 잡음이 섞인 상기 현재 프레임 g의 픽셀들과 이에 대응하는 이전의 잡음 감쇄된 프레임
Figure 112006022109071-pat00085
의 픽셀들간의 상대적인 움직임을 나타내는 움직임 벡터를 추정하는 움직임 추정기;
The pixels of the current frame g that are noisy and the previous noise attenuated frame corresponding thereto.
Figure 112006022109071-pat00085
A motion estimator for estimating a motion vector representing the relative motion between the pixels of the apparatus;
상기 움직임 벡터를 이용하여 상기 영상 시퀀스의 전역 움직임 추정하고, 상기 전역 움직임 벡터의 신뢰도를 추정하는 전역 움직임 추정기;A global motion estimator which estimates global motion of the image sequence using the motion vector and estimates reliability of the global motion vector; 상기 전역 움직임 벡터의 상기 신뢰도에 근거하여 잡음 레벨을 조정하는 잡음 레벨 조정기;A noise level adjuster for adjusting a noise level based on the reliability of the global motion vector; 잡음이 섞인 상기 현재 입력 영상 프레임을 상기 조정된 잡음 레벨에 의해 필터링하는 움직임 보상 시간 필터를 포함하는 것을 특징으로 하는 영상 처리 시스템. And a motion compensation time filter for filtering said current input video frame with noise by said adjusted noise level.
제12항에 있어서, The method of claim 12, 상기 추정된 전역 움직임을 이용하여 잡음이 섞인 상기 현재 입력 영상 프레임
Figure 112006022109071-pat00086
와 상기 이전의 잡음 감쇄된 영상 프레임
Figure 112006022109071-pat00087
에 시간 잡음 감쇄를 수행함으로써, 잡음 감쇄된 프레임
Figure 112006022109071-pat00088
출력을 결정하는 잡음 감쇄기를 더 포함하는 것을 특징으로 하는 영상 처리 시스템.
The current input image frame in which the noise is mixed using the estimated global motion
Figure 112006022109071-pat00086
And the previous noise canceled image frame
Figure 112006022109071-pat00087
A noise attenuated frame by performing time noise attenuation on the
Figure 112006022109071-pat00088
And a noise attenuator for determining the output.
제13항에 있어서, The method of claim 13, 상기 추정된 전역 움직임이 신뢰할 수 있는지 결정하고, 만약 그렇다면, 상기 추정된 잡음 레벨을 조정하여 상기 시간 필터링의 전체이득을 감소시켜 움직임 번짐을 감소시키는 수단을 더 포함하는 것을 특징으로 하는 영상 처리 시스템. Means for determining if the estimated global motion is reliable, and if so, adjusting the estimated noise level to reduce the overall gain of the temporal filtering to reduce motion blur. 제12항에 있어서, 상기 전역 움직임 추정기는 13. The system of claim 12, wherein the global motion estimator 움직임 벡터의 히스토그램을 구하고, 히스토그램에 근거하여 영상 시퀀스의 전역 움직임 벡터를 추정하는 것을 특징으로 하는 영상 처리 시스템. And obtaining a histogram of the motion vector, and estimating a global motion vector of the image sequence based on the histogram. 제15항에 있어서, 상기 전역 움직임 추정기는 16. The system of claim 15, wherein the global motion estimator 상기 히스토그램에서 최대 카운트 값을 가진 움직임 벡터를 전역 움직임 벡터로 선택하기 위하여 상기 히스토그램을 사용하는 것을 특징으로 하는 영상 처리 시스템. And use the histogram to select a motion vector having a maximum count value in the histogram as a global motion vector. 제16항에 있어서, 상기 전역 움직임 추정기는17. The system of claim 16, wherein the global motion estimator 상기 히스토그램에서 선택된 상기 전역 움직임 벡터
Figure 112006022109071-pat00089
의 카운트 값을
Figure 112006022109071-pat00090
라 하고, 전체 움직임 벡터의 카운트 값를
Figure 112006022109071-pat00091
이라고 할 때, 파라미터
Figure 112006022109071-pat00092
Figure 112006022109071-pat00093
로 계산하며, 상기 파라미터
Figure 112006022109071-pat00094
가 더 커질수록 더 많은 픽셀 들이 전역 움직임을 따르고 상기 전역 움직임 벡터
Figure 112006022109071-pat00095
가 더 신뢰할 수 있음을 의미하는 것을 특징으로 하는 영상 처리 시스템.
The global motion vector selected from the histogram
Figure 112006022109071-pat00089
Count value of
Figure 112006022109071-pat00090
And the count value of the entire motion vector
Figure 112006022109071-pat00091
Is called a parameter
Figure 112006022109071-pat00092
To
Figure 112006022109071-pat00093
And calculate the
Figure 112006022109071-pat00094
The larger is, the more pixels follow the global motion and the global motion vector
Figure 112006022109071-pat00095
Image processing means that is more reliable.
제17항에 있어서, 상기 잡음 레벨 조정기는 18. The apparatus of claim 17, wherein the noise level adjuster 움직임 번짐을 줄이기 위하여 상기 파라미터
Figure 112006022109071-pat00096
에 근거하여 잡음 레벨 조정을 수행하는 것을 특징으로 하는 영상 처리 시스템.
Parameter to reduce motion blur
Figure 112006022109071-pat00096
And perform a noise level adjustment on the basis of.
제18항에 있어서, 상기 잡음 레벨 조정기는19. The apparatus of claim 18, wherein the noise level adjuster 상기 파라미터
Figure 112006022109071-pat00097
에 근거하여 전역 움직임 벡터가 신뢰할 수 있는지 결정하고, 만약 그렇다면, 조정 파라미터를 이용하여 상기 추정된 잡음 레벨을 조정함으로써 시간 필터링의 전체 이득을 줄여 움직임 번짐을 줄이는 것을 특징으로 하는 영상 처리 시스템.
The parameter
Figure 112006022109071-pat00097
Determine if a global motion vector is reliable, and if so, adjust the estimated noise level using an adjustment parameter to reduce motion blur by reducing the overall gain of temporal filtering.
제19항에 있어서, 상기 잡음 레벨 조정기는 20. The apparatus of claim 19, wherein the noise level adjuster 만약 상기 전역 움직임 벡터
Figure 112006022109071-pat00098
가 영(zero)이라면, 카메라 움직임이 없음을 의미하고 따라서 아무런 조정도 수행하지 않는 것을 특징으로 하는 영상 처리 시스템.
If the global motion vector
Figure 112006022109071-pat00098
If 0, it means that there is no camera movement and therefore no adjustment is performed.
제20항에 있어서, 상기 잡음 레벨 조정기는21. The apparatus of claim 20, wherein the noise level adjuster
Figure 112006022109071-pat00099
를 조정된 추정 잡음의 표준 편차라고 하고,
Figure 112006022109071-pat00100
를 조정 파라미터라 할 때, 만약 상기 전역 움직임 벡터
Figure 112006022109071-pat00101
가 영(zero)이 아니라면, 잡음의 표준편차
Figure 112006022109071-pat00102
Figure 112006022109071-pat00103
에 의해 조정하는 것을 특징으로 하는 영상 처리 시스템.
Figure 112006022109071-pat00099
Is the standard deviation of the adjusted estimated noise,
Figure 112006022109071-pat00100
Is an adjustment parameter, the global motion vector
Figure 112006022109071-pat00101
If is not zero, the standard deviation of the noise
Figure 112006022109071-pat00102
To
Figure 112006022109071-pat00103
The image processing system, characterized in that for adjusting.
제21항에 있어서,
Figure 112007055406786-pat00104
Figure 112007055406786-pat00105
Figure 112007055406786-pat00106
을 만족하는 임계치일 때, 상기 잡음 레벨 조정기는
The method of claim 21,
Figure 112007055406786-pat00104
and
Figure 112007055406786-pat00105
end
Figure 112007055406786-pat00106
When the threshold is satisfied, the noise level adjuster
만약
Figure 112007055406786-pat00107
이면 검출된 전역 움직임 벡터는 신뢰할 수 없는 것을 나타내고, 아무런 조정도 실행되지 않도록
Figure 112007055406786-pat00108
를 1로 설정하고;
if
Figure 112007055406786-pat00107
If, then the detected global motion vector indicates unreliable, so that no adjustment is performed.
Figure 112007055406786-pat00108
Set to 1;
만약
Figure 112007055406786-pat00109
이면 검출된 전역 움직임 벡터는 매우 신뢰할 수 있는 것을 나타내고,
Figure 112007055406786-pat00110
Figure 112007055406786-pat00111
을 만족하는 미리 정의된
Figure 112007055406786-pat00112
로 설정하고;
if
Figure 112007055406786-pat00109
Then the detected global motion vector represents very reliable,
Figure 112007055406786-pat00110
To
Figure 112007055406786-pat00111
Predefined
Figure 112007055406786-pat00112
Set to;
만약
Figure 112007055406786-pat00113
이면,
Figure 112007055406786-pat00114
의 단순 감소 함수를 이용하여
Figure 112007055406786-pat00115
를 보간하여 조정 파라미터
Figure 112007055406786-pat00116
를 결정하는 것을 특징으로 하는 영상 처리 시스템.
if
Figure 112007055406786-pat00113
If,
Figure 112007055406786-pat00114
Using the simple reduction function of
Figure 112007055406786-pat00115
To adjust the adjustment parameters
Figure 112007055406786-pat00116
Determining an image processing system.
영상 프레임 시퀀스의 영상 잡음 감쇄 방법에 있어서,In the video noise reduction method of the video frame sequence, 영상 시퀀스에서 잡음 레벨을 추정하는 단계와;Estimating a noise level in the image sequence; 현재 잡음이 섞인 프레임의 픽셀들과 이에 대응하는 이전의 잡음 감쇄된 프레임의 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 얻기 위해 잡음이 섞인 현재 영상 프레임과 이전의 잡음 감쇄된 프레임에 움직임 추정을 실행하는 단계와;Motion estimation is performed on the noisy current image frame and the previous noise attenuated frame to obtain a motion vector representing the relative motion between the pixels of the current noisy frame and the corresponding pixels of the previous noisy frame. Making a step; 상기 움직임 벡터를 이용하여 영상 시퀀스의 전역 움직임 벡터를 추정하고, 전역 움직임 벡터의 신뢰도를 계산하는 단계와;Estimating a global motion vector of an image sequence using the motion vector and calculating a reliability of a global motion vector; 상기 전역 움직임 벡터의 신뢰도에 근거하여 잡음 레벨을 조정하는 단계와;Adjusting a noise level based on the reliability of the global motion vector; 잡음 감쇄된 프레임을 생성하기 위해 상기 조정된 잡음 레벨을 이용하여 움직임 보상 시간 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.Performing motion compensation time filtering using the adjusted noise level to produce a noise attenuated frame. 제23항에 있어서,
Figure 112006022109071-pat00117
Figure 112006022109071-pat00118
Figure 112006022109071-pat00119
을 만족하는 임계치일 때,상기 잡음 레벨 조정 단계는 ,
The method of claim 23, wherein
Figure 112006022109071-pat00117
and
Figure 112006022109071-pat00118
end
Figure 112006022109071-pat00119
When the threshold satisfies the noise level adjustment step,
만약
Figure 112006022109071-pat00120
이면 검출된 카메라의 움직임은 신뢰할 수 없는 것을 나타내고, 화면의 전역 움직임이 없으므로, 아무런 조정이 실행되지 않도록
Figure 112006022109071-pat00121
를 1로 설정하고;
if
Figure 112006022109071-pat00120
If it is, the detected camera movement is unreliable, and since there is no global movement of the screen, no adjustment is performed.
Figure 112006022109071-pat00121
Set to 1;
만약
Figure 112006022109071-pat00122
이면 검출된 전역 움직임 벡터는 매우 신뢰할 수 있는 것을 나타내고,
Figure 112006022109071-pat00123
Figure 112006022109071-pat00124
을 만족하는 미리 정의된
Figure 112006022109071-pat00125
로 설정하고;
if
Figure 112006022109071-pat00122
Then the detected global motion vector represents very reliable,
Figure 112006022109071-pat00123
To
Figure 112006022109071-pat00124
Predefined
Figure 112006022109071-pat00125
Set to;
만약
Figure 112006022109071-pat00126
이면,
Figure 112006022109071-pat00127
의 단순 감소 함수를 이용하여
Figure 112006022109071-pat00128
를 보간하는 단계를 포함하는 조정 파라미터
Figure 112006022109071-pat00129
를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
if
Figure 112006022109071-pat00126
If,
Figure 112006022109071-pat00127
Using the simple reduction function of
Figure 112006022109071-pat00128
An adjustment parameter comprising interpolating
Figure 112006022109071-pat00129
Determining the image noise reduction method.
제20항에 있어서,
Figure 112007055406786-pat00130
Figure 112007055406786-pat00131
Figure 112007055406786-pat00132
을 만족하는 임계치일 때, 상기 잡음 레벨 조정기는
The method of claim 20,
Figure 112007055406786-pat00130
and
Figure 112007055406786-pat00131
end
Figure 112007055406786-pat00132
When the threshold is satisfied, the noise level adjuster
만약
Figure 112007055406786-pat00133
이면 검출된 카메라의 움직임은 신뢰할 수 없는 것을 나타내고, 화면의 전역 움직임이 없으므로, 아무런 조정이 실행되지 않도록
Figure 112007055406786-pat00134
를 1로 설정하고;
if
Figure 112007055406786-pat00133
If it is, the detected camera movement is unreliable, and since there is no global movement of the screen, no adjustment is performed.
Figure 112007055406786-pat00134
Set to 1;
만약
Figure 112007055406786-pat00135
이면 검출된 전역 움직임 벡터는 매우 신뢰할 수 있는 것을 나타내고,
Figure 112007055406786-pat00136
Figure 112007055406786-pat00137
을 만족하는 미리 정의된
Figure 112007055406786-pat00138
로 설정하고;
if
Figure 112007055406786-pat00135
Then the detected global motion vector represents very reliable,
Figure 112007055406786-pat00136
Is
Figure 112007055406786-pat00137
Predefined to satisfy
Figure 112007055406786-pat00138
Set to;
만약
Figure 112007055406786-pat00139
이면,
Figure 112007055406786-pat00140
의 단순 감소 함수를 이용하여
Figure 112007055406786-pat00141
를 보간하여 조정 파라미터
Figure 112007055406786-pat00142
를 결정하는 것을 특징으로 하는 영상 처리 시스템.
if
Figure 112007055406786-pat00139
If,
Figure 112007055406786-pat00140
Using the simple reduction function of
Figure 112007055406786-pat00141
To adjust the adjustment parameters
Figure 112007055406786-pat00142
Determining an image processing system.
KR1020060028421A 2005-09-27 2006-03-29 Methods for adaptive noise reduction based on global motion estimation and video processing system therefore KR100772405B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060028421A KR100772405B1 (en) 2005-09-27 2006-03-29 Methods for adaptive noise reduction based on global motion estimation and video processing system therefore

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/236,936 2005-09-27
KR1020060028421A KR100772405B1 (en) 2005-09-27 2006-03-29 Methods for adaptive noise reduction based on global motion estimation and video processing system therefore

Publications (2)

Publication Number Publication Date
KR20070035405A KR20070035405A (en) 2007-03-30
KR100772405B1 true KR100772405B1 (en) 2007-11-01

Family

ID=41637243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060028421A KR100772405B1 (en) 2005-09-27 2006-03-29 Methods for adaptive noise reduction based on global motion estimation and video processing system therefore

Country Status (1)

Country Link
KR (1) KR100772405B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101563554B1 (en) 2008-08-01 2015-10-27 퀄컴 테크놀로지스, 인크. Video encoder with an integrated temporal filter for denoising
KR102032793B1 (en) * 2018-06-08 2019-10-17 한국전자통신연구원 Method and Apparatus for effective motion vector decision for motion estimation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030024354A (en) * 2001-09-18 2003-03-26 주식회사 아이캔텍 Global motion compensation apparatus and method for detecting a motion of an object
KR20040030096A (en) * 2001-08-14 2004-04-08 제너럴 인스트루먼트 코포레이션 Noise-reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
JP2004120603A (en) 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd Image processing method, apparatus and program thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040030096A (en) * 2001-08-14 2004-04-08 제너럴 인스트루먼트 코포레이션 Noise-reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
KR20030024354A (en) * 2001-09-18 2003-03-26 주식회사 아이캔텍 Global motion compensation apparatus and method for detecting a motion of an object
JP2004120603A (en) 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd Image processing method, apparatus and program thereof

Also Published As

Publication number Publication date
KR20070035405A (en) 2007-03-30

Similar Documents

Publication Publication Date Title
US7570309B2 (en) Methods for adaptive noise reduction based on global motion estimation
KR100727998B1 (en) A method of motion compensated temporal noise reduction and system therefore
US6999634B2 (en) Spatio-temporal joint filter for noise reduction
EP1681849B1 (en) Apparatus for removing noise from a video signal
US8204337B2 (en) Image processing system and method for noise reduction
Kim et al. Spatio-temporal adaptive 3-D Kalman filter for video
KR20060076176A (en) A method of temporal noise reduction in video sequence ans system therefore
KR100739753B1 (en) Method and apparatus of bidirectional temporal noise reduction
JPH07274044A (en) Video signal noise reduction system and noise reduction method using time variable filter coefficient
KR100672328B1 (en) Apparatus for estimation noise level of video signal
US8406305B2 (en) Method and system for creating an interpolated image using up-conversion vector with uncovering-covering detection
US20170105022A1 (en) Apparatus and method for video data processing
Reeja et al. Real time video denoising
KR101984173B1 (en) Method and Apparatus for Noise Reduction
WO2010007777A1 (en) Image processing device, image processing method, program, recording medium, and integrated circuit
US8090210B2 (en) Recursive 3D super precision method for smoothly changing area
JP2005150903A (en) Image processing apparatus, noise elimination method, and noise elimination program
KR100772405B1 (en) Methods for adaptive noise reduction based on global motion estimation and video processing system therefore
KR100772380B1 (en) An extended method of noise-adaptive motion detection
Lagendijk et al. Video enhancement and restoration
Woods et al. Motion compensated spatiotemporal Kalman filter
Tenze et al. Design and real-time implementation of a low-cost noise reduction system for video applications
KR100821939B1 (en) Apparatus and method for image noise reduction
KR100754219B1 (en) An extended method and system to estimate noise variancestandard deviation from a video sequence
KR100774189B1 (en) apparatus for removing image noise

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee