KR20160065921A - 노이즈 영상에 대한 시간적 노이즈 감소 방법 및 관련 장치 - Google Patents

Abstract

본 발명의 실시 예들은 노이즈 영상에 대한 시간적 노이즈 감소 방법 및 관련 장치를 개시한다. 본 발명의 실시 예에서, 정지/이동의 결정은 제1 화소가 속하는 제1섹션의 양자화 노이즈를 참조하여 수행될 수 있으며, 그러므로 부정확한 결정의 확률이 매우 낮으며; 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지를 결정하는 것의 상이한 결과에 대하여, 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들이 개별적으로 설정되고, 상이한 프레임 차이 산출 방식들이 사용되며; 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들과 프레임 차이 산출 방식들에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 혼합 계수들이 선택되고; 이동 영역 및 정지 영역에 적용 가능한 상이한 혼합 계수들과 프레임 차이 산출 방식들과 현재 프레임에서의 제1 화소의 화소값에 따라, 노이즈 감소 혼합 방식이 선택된다. 이러한 방식으로, 노이즈 영상이 이동 영역에 있는지 또는 정지 영역에 있는지에 따라 노이즈 감소 처리가 구현될 수 있으며, 검출 에러의 확률이 매우 낮다. 그러므로 본 발명의 이러한 실시 예들의 기술적 솔루션은 다수의 노이즈 시나리오에 적용될 수 있다.

Description

노이즈 영상에 대한 시간적 노이즈 감소 방법 및 관련 장치{TEMPORAL NOISE REDUCTION METHOD OF NOISE IMAGE, AND RELATED DEVICE}

본 발명은 영상(image) 처리 기술 분야에 관한 것으로, 특히, 노이즈 영상(noisy image)에 대한 시간적 노이즈(temporal noise) 감소 방법 및 관련 장치에 관한 것이다.

영상 표시 장치(image display device)가 점점 개발됨에 따라, 사람들은 고품질 및 고해상도 영상 정보에 대한 높은 요구사항(requirements)을 가진다. 실제로, 디지털 영상은 디지털화 및 전송 프로세스(processes of digitalization and transmission) 동안에, 일반적으로 촬상 장치(imaging device), 외부 환경에서의 노이즈 간섭 등에 의해 영향을 받는다. 그러므로 이러한 노이즈 간섭을 가지는 디지털 영상은 일반적으로 노이즈를 가지는 영상 또는 노이즈 영상으로 명명된다.

노이즈는 디지털 영상의 해상도(resolution)를 감소시키고 영상의 디스플레이 세부 정보(display details)에 영향을 주며, 이는 영상의 후속 처리(subsequent processing)에 매우 불리하다. 그러므로 효과적인 노이즈 억제(suppression)는 영상 애플리케이션(application)에 필수적이다. 영상 노이즈 감소는 비디오 처리 시스템에서 대단히 의미 있는 것이다. 텔레비전 시스템에서, 디인터레이싱(deinterlacing), 안티 앨리어싱(anti-aliasing) 및 영상 스케일링(image scaling)은 시스템이 노이즈 없는 또는 낮은 노이즈의 영상을 입력 영상 정보로서 제공하는 것을 요구하며; 감시 시스템(surveillance system)에서, 영상 노이즈 감소는 또한 감시 영상(surveillance image)의 품질을 향상하기 위한 주요 방법이다.

시간적 노이즈 감소(Temporal Noise Reduction, TNR)는 영상 노이즈 감소를 위한 중요한 기술적 방법이다. 종래에 일반적으로 사용되는 시간적 노이즈 감소 방법은 다음의 방식:

으로 구현될 수 있으며,

pixel은 원래(original) 노이즈 영상을 나타내며, pixeltnr은 시간적 노이즈 감소 후에 획득되는 영상이며, 그리고 디지털 영상에서 전술한 변수들(variables )이 모두 이산 변수(discrete variables)로 대체되며; x와 y는 이차원 공간 좌표이며, t는 1차원 시간 좌표이고, x와 y는 지시된 화소의 위치를 결정하며, t는 영상 시퀀스 즉, 프레임 수량에서의 현재 영상의 위치를 나타내고; △t는 시간 오프셋이며, △t는 일반적으로 1로 설정되고; alpha∈[0,1] 이고, alpha는 혼합(blending) 계수이며 노이즈 감소 강도(intensity)를 결정하는 데 사용되고; 더 큰 alpha는 높은 노이즈 감소 강도를 나타내며, 더 작은 alpha는 낮은 노이즈 감소 강도를 나타낸다.

종래의 TNR은 주로 이동/정지(movement/still)의 결정을 토대로 하는 시간 적 노이즈 감소이다. 대응하는 영상 컨텐츠(content)의 이동 레벨은 프레임 차이(frame difference)의 크기에 따라 결정되며, 대응하는 혼합 계수는 이동 레벨에 따라 선택된다. 프레임 차이가 보다 낮은 경우, 대응하는 이동 레벨이 낮고, 이동은 정지되기 쉬우며, 보다 높은 혼합 계수가 선택되는 것으로 간주되고, 반대로 프레임 차이가 큰 경우, 대응하는 이동 레벨이 높고 이동은 정지되기 쉬지 않으며, 보다 낮은 혼합 계수가 선택되는 것으로 간주된다.

본 발명을 구현하는 프로세스 동안에, 본 발명의 발명자는, 이동/정지의 결정을 토대로 하는 TNR에서, 단지 프레임 차이는 영상이 이동하는 지를 결정하기 위한 근거(basis)로 사용되며, 대응하는 혼합 계수는 결정의 결과에 따라 선택되는 것을 발견하였다. 그러나 단지 프레임 차이가 영상의 이동을 결정하기 위한 근거로 사용되면, 검출 에러가 쉽게 발생할 수 있다. 이동하는 영상이 정지 영상으로 결정되면, 영상의 번짐(smearing)이 발생할 수 있으며, 영상의 세부 정보(details)가 손실될 수 있다. 정지 영상이 이동하는 영상으로 결정되면, 큰 노이즈를 가지는 영상에 대해 노이즈 감소 효과가 떨어질 수 있다. 그러므로 이동/정지의 결정을 토대로 하는 TNR은 상이한 노이즈 시나리오에 적응될 수 없다.

본 발명의 실시 예는 노이즈 영상(noisy image)에 대한 시간적 노이즈(temporal noise) 감소 방법 및 관련 장치를 제공하며, 낮은 검출 에러 확률을 가지는 노이즈 영상에 대하여 노이즈 감소 처리를 수행하는 데 사용되며, 다수의 노이즈 시나리오에 적용될 수 있다.

전술한 기술적 문제점들을 해소하기 위하여, 본 발명의 실시 예들은 다음과 같은 기술적 솔루션들을 제공한다.

제1 측면에 따르면, 본 발명의 실시 예는 노이즈 영상에 대한 시간적 노이즈 감소 방법을 제공하며, 상기 방법은,

노이즈 영상의 제1 섹션(section)의 양자화 노이즈(quantization noise)를 획득하는 단계 - 상기 제1 섹션은 상기 노이즈 영상으로부터 분할된 다수 섹션들 중의 하나임 -;

화소가 현재 프레임의 화소 위치에서 다음 프레임(next frame)으로 이동한 후에, 상기 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역(movement estimation neighborhood)에서의 모든 화소들의 화소 위치를 검출하는 단계 - 상기 이동 추정 인접 지역은 제1 화소를 중심으로 하는 인접 화소들을 포함하며, 상기 제1 화소는 상기 제1 섹션에서의 임의 화소임 -;

상기 현재 프레임에서 상기 다음 프레임으로 변화하는 상기 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황(pixel position change situation)에 따라, 상기 제1 화소가 이동 영역에 있는지 또는 정지 영역(still area)에 있는지를 결정하는 단계;

상기 제1 화소가 상기 이동 영역에 있으면, 상기 제1 화소의 제1 프레임 차이(difference)와 미리 설정된 제1 프레임 차이 문턱값에 따라, 제1 혼합 계수(blending coefficient)를 선택하고, 상기 제1 혼합 계수와 상기 현재 프레임에서의 상기 제1 화소의 화소값과 이전 프레임에서의 상기 제1 화소의 이동 보상(compensation) 화소값에 따라, 상기 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하는 단계; 및

상기 제1 화소가 상기 정지 영역에 있으면, 상기 제1 화소의 제2 프레임 차이와 미리 설정된 제2 프레임 차이 문턱값에 따라 제2 혼합 계수를 선택하고, 상기 제2 혼합 계수와 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소값에 따라, 상기 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하는 단계

를 포함하며,

상기 제1 프레임 차이는 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 이동 보상 화소값 사이의 차이이며, 상기 이동 보상 화소값은 상기 현재 프레임에서의 상기 제1 화소의 대응 위치의 화소값이며, 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소를 토대로 이동 추정 및 이동 보상이 수행된 후에 획득되고,

상기 제2 프레임 차이 문턱값은 상기 제1 프레임 차이 문턱값보다 크고, 상기 제2 프레임 차이는 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 상기 노이즈 감소 화소값 사이의 차이이며, 상기 노이즈 감소 화소값은 상기 이전 프레임에서의 상기 제1 화소의 상기 노이즈 감소 화소의 대응 위치의 화소값이다.

제1 측면을 참조하여, 제1 측면의 제1 가능한 구현 예에서, 상기 노이즈 영상의 제1 섹션의 양자화 노이즈를 획득하는 단계는,

상기 제1 섹션을 다수의 블록들로 분할하는 단계 - 각 블록은 다수 화소를 포함함 -;

제1 블록의 모든 화소의 양자화 노이즈를 획득하고, 상기 제1 블록의 모든 화소의 양자화 노이즈에 따라 상기 제1 블록의 양자화 노이즈를 획득하고, 상기 제1 섹션에서 상기 제1 블록을 제외한 모든 블록들의 양자화 노이즈를 개별적으로 획득하는 단계 - 상기 제1 블록은 상기 제1 섹션의 임의 블록임 -; 및

상기 제1 섹션의 모든 블록의 양자화 노이즈를 토대로 평균 양자화 노이즈를 산출하고 상기 평균 양자화 노이즈를 상기 제1 섹션의 양자화 노이즈로 사용하거나, 또는 상기 제1 섹션에서 모든 블록의 양자화 노이즈들을 하나씩 누적하고 누적 히스토그램(cumulative histogram)에서 미리 설정된 노이즈 문턱값보다 큰 양자화 노이즈를 상기 제1 섹션의 양자화 노이즈로 사용하는 단계

를 포함한다.

제1 측면의 제1 가능한 구현 예를 참조하여 제1 측면의 제2 가능한 구현 예에서, 상기 제1 블록의 모든 화소의 양자화 노이즈에 따라 상기 제1 블록의 양자화 노이즈를 획득하는 것은,

상기 제1 블록의 각 화소가 편평한 영역(flat area)에 있는지를 결정하는 단계;

상기 제1 블록에서 상기 편평한 영역에 있는 모든 화소의 양자화 노이즈를 획득하는 단계; 및

상기 제1 블록에서 상기 편평한 영역에 있는 모든 화소의 양자화 노이즈에 따라 상기 제1 블록의 양자화 노이즈를 산출하는 단계

를 포함한다.

제1 측면의 제2 가능한 구현 예를 참조하여 제1 측면의 제3 가능한 구현 예에서, 상기 제1 블록의 각 화소가 편평한 영역에 있는지를 결정하는 단계는,

노이즈 추정 인접 지역의 모든 화소의 화소값을 획득하는 단계 - 상기 노이즈 추정 인접 지역은, 상기 제1 화소를 중심으로 하며 상기 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 상기 제1 화소는 상기 제1 블록에서의 임의 화소임 -;

상기 노이즈 추정 인접 지역의 모든 화소의 화소값과 소벨 에지 컨볼루션 커널(sobel edge convolution kernels)에 따라, 상기 제1 화소의 에지 추정값을 산출하는 단계;

상기 제1 화소의 에지 추정값이 에지 영역 문턱값보다 큰지를 결정하며, 상기 제1 화소의 에지 추정값이 상기 에지 영역 문턱값보다 크면 상기 제1 화소가 에지 영역에 있는 것으로 결정하거나, 또는, 상기 제1 화소의 에지 추정값이 상기 에지 영역 문턱값보다 작거나 같으면 상기 제1 화소가 상기 에지 영역에 있지 않은 것으로 결정하는 단계;

상기 노이즈 추정 인접 지역의 모든 화소의 화소값에 따라 상기 제1 화소의 텍스쳐(texture) 추정값을 산출하는 단계; 및

상기 제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 큰지를 결정하고, 상기 제1 화소의 텍스쳐 추정값이 상기 텍스쳐 영역 문턱값보다 크면 상기 제1 화소가 텍스쳐 영역에 있는 것으로 결정하거나, 또는 상기 제1 화소의 텍스쳐 추정값이 상기 텍스쳐 영역 문턱값보다 작거나 같으면 상기 제1 화소가 상기 텍스쳐 영역에 있지 않은 것으로 결정하는 단계

를 포함하며,

상기 제1 화소가, 상기 제1 화소가 상기 에지 영역에 있지 않은 조건과 상기 제1 화소가 상기 텍스쳐 영역에 있지 않은 조건을 모두 만족하면, 상기 제1 화소가 상기 편평한 영역에 있는 것으로 결정한다.

제1 측면의 제3 가능한 구현 예를 참조하여 제1 측면의 제4 가능한 구현 예에서, 상기 노이즈 추정 인접 지역의 모든 화소의 화소값과 소벨 에지 컨볼루션 커널에 따라, 상기 제1 화소의 에지 추정값을 산출하는 단계는,

다음의 방식(the following manner):

으로 상기 제1 화소의 상기 에지 추정값을 산출하는 단계를 포함하며,

(x,y)는 상기 현재 프레임에서의 상기 제1 화소의 화소 위치이며, EM(x,y)는 상기 제1 화소의 상기 에지 추정값이고, NH(x,y)는 상기 노이즈 추정 인접 지역이며, E_h, E_v, E_p45, 및 E_n45는 상기 소벨 에지 컨볼루션 커널이고, 그리고 *는 컨볼루션 심볼(symbol)이며,

상기 노이즈 추정 인접 지역의 모든 화소의 화소값에 따라 상기 제1 화소의 텍스쳐 추정값을 산출하는 단계는,

,

의 방식으로 상기 제1 화소의 상기 텍스쳐 추정값을 산출하는 단계 - (x,y)는 상기 현재 프레임에서의 상기 제1 화소의 화소 위치이며, Noise_Max_Min(x,y)는 상기 제1 화소의 상기 텍스쳐 추정값이고, value_i는 상기 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 상기 노이즈 추정 인접 지역이고, 그리고 value_medium는 NH(x,y)의 모든 화소의 화소값들의 중간(middle) 값 또는 평균값임 -; 및

의 방식으로, 상기 제1 화소가, 상기 제1 화소가 상기 에지 영역에 있지 않은 조건과 상기 제1 화소가 상기 텍스쳐 영역에 있지 않은 조건을 모두 만족하는지를 결정하는 단계

를 포함하며,

EM(x,y)는 상기 제1 화소의 에지 추정값이며, EGth는 상기 에지 영역 문턱값이고, Noise_Max_Min(x,y)는 상기 제1 화소의 텍스쳐 추정값이며, 그리고 MHth는 상기 텍스쳐 영역 문턱값이다.

제1 측면의 제1 가능한 구현 예를 참조하여 제1 측면의 제5 가능한 구현 예에서, 상기 제1 블록의 모든 화소의 양자화 노이즈를 획득하는 것은,

노이즈 추정 인접 지역에서 모든 화소의 화소값을 획득하는 단계 - 상기 노이즈 추정 인접 지역은 상기 제1 화소를 중심으로 하고 상기 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 상기 제1 화소는 상기 제1 블록의 임의 화소임 -; 및

다음의 방식:

으로 상기 제1 화소의 양자화 노이즈를 산출하는 단계

를 포함하며,

(x,y)는 상기 현재 프레임에서 상기 제1 화소의 화소 위치이며, pixel_noise(x,y)는 상기 제1 화소의 양자화 노이즈이고, value_i는 상기 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 상기 노이즈 추정 인접 지역이며, 그리고 value_median는 NH(x,y)의 모든 화소의 중간값 또는 평균값이다.

제1 측면을 참조하여 제1 측면의 제6 가능한 구현 예에서, 상기 화소가 현재 프레임의 화소 위치에서 다음 프레임으로 이동한 후에, 상기 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역에서의 모든 화소들의 화소 위치를 검출하는 단계는,

상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라, 상기 제1 화소의 휘도 노이즈 방지값(brightness anti-noise value)과 계조도 노이즈 방지값(gradient anti-noise value)을 획득하는 단계;

상기 제1 화소의 상기 휘도 노이즈 방지값과 상기 계조도 노이즈 방지값, 그리고 상기 현재 프레임에서의 화소 위치에서 상기 제1 화소의 화소값에 따라, 상기 제1 화소에 대해 이동 검출을 수행하여 상기 다음 프레임에서의 상기 제1 화소의 화소 위치를 획득하는 단계;

상기 제1 섹션의 양자화 노이즈에 따라, 상기 제1 섹션에서 상기 제1 화소를 제외한 나머지 화소들의 휘도 노이즈 방지값과 계조도 노이즈 방지값을 획득하는 단계; 및

상기 제1 섹션에서 상기 제1 화소를 제외한 나머지 화소들의 휘도 노이즈 방지값과 계조도 노이즈 방지값, 그리고 상기 현재 프레임에서의 화소 위치에서 상기 제1 섹션의 상기 제1 화소를 제외한 나머지 화소들의 화소값들에 따라, 상기 제1 섹션에서 상기 제1 화소를 제외한 상기 나머지 화소들에 대해 이동 검출을 수행하여, 상기 다음 프레임에서 상기 제1 섹션의 상기 제1 화소를 제외한 상기 나머지 화소들의 화소 위치들을 획득하는 단계

를 포함한다.

제1 측면의 제6 가능한 구현 예를 참조하여 제1 측면의 제7 가능한 구현 예에서, 상기 제1 화소의 상기 휘도 노이즈 방지값과 상기 계조도 노이즈 방지값, 그리고 상기 현재 프레임에서의 화소 위치에서 상기 제1 화소의 화소값에 따라, 상기 제1 화소에 대해 이동 검출을 수행하여 상기 다음 프레임에서의 상기 제1 화소의 화소 위치를 획득하는 단계는,

상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 휘도 노이즈 방지값에 따라, 휘도 변화값(brightness change value)을 산출하는 단계;

상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 상기 계조도 노이즈 방지값에 따라, 수평 방향 계조도 변화값(horizontal-direction gradient change value)을 산출하는 단계;

상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 상기 계조도 노이즈 방지값에 따라, 수직 방향 계조도 변화값(vertical gradient change value)을 산출하는 단계;

상기 휘도 변화값과 상기 수평방향 계조도 변화값과 상기 수직방향 계조도 변화값에 따라, 상기 제1 화소의 화소 유사성 매칭값(pixel similarity matching value)을 산출하는 단계; 및

상기 화소 유사성 매칭값의 최소값이 획득되는 경우, 상기 다음 프레임에서의 상기 제1 화소의 화소 위치를 산출하는 단계

를 포함한다.

제1 측면의 제7 가능한 구현 예를 참조하여 제1 측면의 제8 가능한 구현 예에서, 상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 휘도 노이즈 방지값에 따라, 휘도 변화값을 산출하는 단계는,

상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 상기 휘도 변화값을 산출하는 단계를 포함하며,

는 상기 휘도 변화값이고,

는 상기 제1 화소의 상기 휘도 노이즈 방지값이며,

이고, (x,y)는 상기 현재 프레임에서의 상기 제1 화소의 화소 위치이고,

는 m번째 프레임에서의 상기 제1 화소의 화소값이며, 상기 m번째 프레임은 상기 제1 화소의 현재 프레임이고, (m+1)번째 프레임은 상기 제1 화소의 다음 프레임이며, 그리고

는 (m+1) 번째 프레임에서의 상기 제1 화소의 화소값이고,

상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 상기 계조도 노이즈 방지값에 따라, 수평 방향 계조도 변화값을 산출하는 단계는,

상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 상기 수평 방향 계조도 변화값을 산출하는 단계를 포함하며,

는 상기 수평방향 계조도 변화값이며,

는 상기 제1 화소의 계조도 노이즈 방지값이고,

이고,

는 상기 제1 화소가 수평 방향에서 상기 현재 프레임의 화소값

으로부터 위로 이동하는 후에 획득되는 화소값이며,

는 상기 제1 화소가 수평 방향에서 상기 현재 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이고,

는 상기 제1 화소가 수평 방향에서 상기 다음 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이며,

는 상기 제1 화소가 수평 방향에서 상기 다음 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이고,

상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 상기 계조도 노이즈 방지값에 따라, 수직 방향 계조도 변화값을 산출하는 단계는,

상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 상기 수직 방향 계조도 변화값을 산출하는 단계를 포함하며,

는 상기 수직방향 계조도 변화값이고,

는 상기 제1 화소의 계조도 노이즈 방지값이며,

이고,

는 상기 제1 화소가 수직 방향에서 상기 현재 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이고,

는 상기 제1 화소가 수직 방향에서 상기 현재 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이며,

는 상기 제1 화소가 수직 방향에서 상기 다음 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이고,

는 상기 제1 화소가 수직 방향에서 상기 다음 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이며; 그리고

상기 휘도 변화값과 상기 수평방향 계조도 변화값과 상기 수직방향 계조도 변화값에 따라, 상기 제1 화소의 화소 유사성 매칭값을 산출하는 단계는,

다음의 방식:

으로 상기 제1 화소의 화소 유사성 매칭값을 산출하는 단계를 포함하며,

는 상기 제1 화소의 화소 유사성 매칭값이고,

는 상기 휘도 변화값이며,

는 상기 수평방향 계조도 변화값이고,

는 상기 수직방향 계조도 변화값이다.

제1 측면의 제7 가능한 구현 예를 참조하여 제1 측면의 제9 가능한 구현 예에서, 상기 노이즈 영상의 제1 섹션의 양자화 노이즈를 획득하는 단계 이후에, 상기 방법은

상기 노이즈 영상의 모든 N개의 섹션의 양자화 노이즈를 획득하는 단계; 및

상기 N개의 섹션의 양자화 노이즈와 N개의 미리 설정된 양자화 문턱값을 비교하고, 상기 N개의 섹션의 양자화 노이즈를 (N+1)개의 노이즈 레벨로 분류하는 단계

를 더 포함하며,

상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라, 상기 제1 화소의 휘도 노이즈 방지값과 계조도 노이즈 방지값을 획득하는 단계는,

상기 제1 섹션의 노이즈 레벨을 추출하고, 상기 노이즈 레벨과 상기 휘도 노이즈 방지값 사이의 양의 상관관계(positive correlation relationship)에 따라 상기 제1 화소의 상기 휘도 노이즈 방지값을 획득하며, 상기 노이즈 레벨과 상기 계조도 노이즈 방지값 사이의 양의 상관관계에 따라 상기 제1 화소의 상기 계조도 노이즈 방지값을 획득하는 단계를 포함한다.

제1 측면을 참조하여 제1 측면의 제10 가능한 구현 예에서, 상기 현재 프레임에서 상기 다음 프레임으로 변화하는 상기 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황에 따라, 상기 제1 화소가 이동 영역 또는 정지 영역에 있는지를 결정하는 단계는,

상기 이동 추정 인접 지역의 상기 현재 프레임에서의 모든 화소의 화소 위치와 상기 이동 추정 인접 지역의 상기 다음 프레임에서의 모든 화소의 화소 위치에 따라, 상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들을 카운팅하는 단계;

상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들의 수량과 이동/정지를 결정하기 위한 미리 설정된 문턱값을 비교하는 단계;

상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들의 수량이 상기 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 크거나 같으면, 상기 제1 화소가 상기 정지 영역에 있는 것으로 결정하는 단계; 및

상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들의 수량이 상기 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 작으면, 상기 제1 화소가 상기 이동 영역에 있는 것으로 결정하는 단계

를 포함한다.

제1 측면을 참조하여 제1 측면의 제11 가능한 구현 예에서, 상기 제1 화소의 제1 프레임 차이와 미리 설정된 제1 프레임 차이 문턱값에 따라, 제1 혼합 계수를 선택하는 것은,

상기 제1 화소의 제1 프레임 차이가 상기 미리 설정된 제1 프레임 차이 문턱값보다 작은지를 결정하는 단계;

상기 제1 화소의 제1 프레임 차이가 상기 미리 설정된 제1 프레임 차이 문턱값보다 작거나 같으면, 상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라 상기 제1 혼합 계수를 선택하는 단계; 및

상기 제1 화소의 제1 프레임 차이가 상기 미리 설정된 제1 프레임 차이 문턱값보다 크면, 상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라, 제1 프레임 차이 가중치 계수를 선택하고, 상기 제1 프레임 차이 문턱값과 상기 제1 화소의 제1 프레임 차이와 상기 제1 프레임 차이 가중치 계수에 따라 상기 제1 혼합 계수를 선택하는 단계

를 포함한다.

제1 측면을 참조하여 제1 측면의 제12 가능한 구현 예에서, 상기 제1 혼합 계수와 상기 현재 프레임에서의 상기 제1 화소의 화소값과 이전 프레임에서의 상기 제1 화소의 이동 보상 화소값에 따라, 상기 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하는 단계는,

다음의 방식:

으로 상기 제1 화소에 대응하는 상기 제1 노이즈 감소 화소값을 산출하는 단계를 포함하고,

는 상기 제1 화소에 대응하는 상기 제1 노이즈 감소 화소값이며,

는 상기 현재 프레임에서의 상기 제1 화소에 대응하는 위치의 화소값이고, 이동 추정 및 이동 보상이 상기 이전 프레임에서의 상기 제1 화소의 상기 노이즈 감소 화소를 토대로 수행된 다음에 획득되며,

는 상기 제1 혼합 계수이고,

는 상기 현재 프레임에서의 상기 제1 화소의 화소값이다.

제1 측면을 참조하여 제1 측면의 제13 가능한 구현 예에서, 상기 제2 혼합 계수와 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소값에 따라, 상기 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하는 단계는,

다음의 방식:

으로 상기 제1 화소에 대응하는 상기 제2 노이즈 감소 화소값을 산출하는 단계를 포함하며,

는 상기 제1 화소에 대응하는 상기 제2 노이즈 감소 화소값이며,

는 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소의 대응 위치의 화소값이고,

는 상기 제2 혼합 계수이며,

는 상기 현재 프레임에서의 상기 제1 화소의 화소값이다.

제2 측면에 따르면, 본 발명의 실시 예는 추가로 노이즈 영상에 대한 시간적 노이즈 감소 장치를 제공하며, 상기 장치는,

노이즈 영상의 제1 섹션의 양자화 노이즈를 획득하도록 구성되는 노이즈 획득 모듈 - 상기 제1 섹션은 상기 노이즈 영상으로부터 분할된 다수 섹션들 중의 하나임 -;

화소가 현재 프레임의 화소 위치에서 다음 프레임으로 이동한 후에, 상기 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역에서의 모든 화소들의 화소 위치를 검출하도록 구성되는 이동 추정 모듈 - 상기 이동 추정 인접 지역은 제1 화소를 중심으로 하는 인접 화소들을 포함하며, 상기 제1 화소는 상기 제1 섹션에서의 임의 화소임 -; 및

상기 현재 프레임에서 상기 다음 프레임으로 변화하는 상기 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황에 따라, 상기 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지를 결정하고, 상기 제1 화소가 상기 이동 영역에 있으면 제1 혼합 계수 선택 모듈과 제1 시간적 노이즈 감소 모듈의 실행을 트리거(trigger)시키거나, 또는 상기 제1 화소가 상기 정지 영역에 있으면 제2 혼합 계수 선택 모듈과 제2 시간적 노이즈 감소 모듈의 실행을 트리거시키도록 구성되는, 이동/정지 결정 모듈

을 포함하고,

상기 제1 혼합 계수 선택 모듈은, 상기 제1 화소가 이동 영역에 있는 경우에, 상기 제1 화소의 제1 프레임 차이와 미리 설정된 제1 프레임 차이 문턱값에 따라, 제1 혼합 계수를 선택하도록 구성되고, 상기 제1 프레임 차이는 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 이동 보상 화소값 사이의 차이이며,

상기 제1 시간적 노이즈 감소 모듈은, 상기 제1 혼합 계수와 상기 현재 프레임에서의 상기 제1 화소의 화소값과 이전 프레임에서의 상기 제1 화소의 이동 보상 화소값에 따라, 상기 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하도록 구성되고, 상기 이동 보상 화소값은 상기 현재 프레임에서의 상기 제1 화소의 대응 위치의 화소값이며, 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소를 토대로 이동 추정 및 이동 보상이 수행된 후에 획득되고,

상기 제2 혼합 계수 선택 모듈은, 상기 제1 화소가 정지 영역에 있는 경우에, 상기 제1 화소의 제2 프레임 차이와 미리 설정된 제2 프레임 차이 문턱값에 따라 제2 혼합 계수를 선택하도록 구성되고, 상기 제2 프레임 차이는 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소값 사이의 차이이며, 상기 제2 프레임 차이 문턱값은 상기 제1 프레임 차이 문턱값보다 크고,

상기 제2 시간적 노이즈 감소 모듈은, 상기 제2 혼합 계수와 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소값에 따라, 상기 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하도록 구성되고, 상기 노이즈 감소 화소값은 상기 이전 프레임에서의 상기 제1 화소의 상기 노이즈 감소 화소의 대응 위치의 화소값이다.

제1 측면을 참조하여 제1 측면의 제1 가능한 구현 예에서, 상기 노이즈 획득 모듈은,

상기 제1 섹션을 다수의 블록들로 분할하도록 구성되는 블록 분할 서브모듈 - 각 블록은 다수 화소를 포함함 -;

제1 블록의 모든 화소의 양자화 노이즈를 획득하고, 상기 제1 블록의 모든 화소의 양자화 노이즈에 따라 상기 제1 블록의 양자화 노이즈를 획득하며, 상기 제1 섹션에서 상기 제1 블록을 제외한 모든 블록들의 양자화 노이즈를 개별적으로 획득하도록 구성되는 양자화 노이즈 획득 서브모듈 - 상기 제1 블록은 상기 제1 섹션의 임의 블록임 -; 및

상기 제1 섹션의 모든 블록의 양자화 노이즈를 토대로 평균 양자화 노이즈를 산출하고, 상기 평균 양자화 노이즈를 상기 제1 섹션의 양자화 노이즈로 사용하거나, 또는 상기 제1 섹션에서 모든 블록의 양자화 노이즈들을 하나씩 누적하고 누적 히스토그램에서 미리 설정된 노이즈 문턱값보다 큰 양자화 노이즈를 상기 제1 섹션의 양자화 노이즈로 사용하도록 구성되는 섹션 노이즈 획득 서브모듈

를 포함한다.

제1 측면의 제1 가능한 구현 예를 참조하여 제1 측면의 제2 가능한 구현 예에서, 상기 양자화 노이즈 획득 서브모듈은,

상기 제1 블록의 각 화소가 편평한 영역에 있는지를 결정하도록 구성되는 영역 결정 유닛(unit);

상기 제1 블록에서 상기 편평한 영역에 있는 모든 화소의 양자화 노이즈를 획득하도록 구성되는 편평한 영역 양자화값 획득 유닛; 및

상기 제1 블록에서 상기 편평한 영역에 있는 모든 화소의 양자화 노이즈에 따라 상기 제1 블록의 양자화 노이즈를 산출하도록 구성되는 블록 양자화값 획득 유닛

을 포함한다.

제1 측면의 제2 가능한 구현 예를 참조하여 제1 측면의 제3 가능한 구현 예에서, 상기 영역 결정 유닛은,

노이즈 추정 인접 지역의 모든 화소의 화소값을 획득하도록 구성되는 화소값 획득 서브유닛(subunit) - 상기 노이즈 추정 인접 지역은 상기 제1 화소를 중심으로 하며, 상기 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 상기 제1 화소는 상기 제1 블록에서의 임의 화소임 -;

상기 노이즈 추정 인접 지역의 모든 화소의 화소값과 소벨 에지 컨볼루션 커널에 따라, 상기 제1 화소의 에지 추정값을 산출하도록 구성되는 에지 추정 서브유닛;

상기 제1 화소의 에지 추정값이 에지 영역 문턱값보다 큰지를 결정하며, 상기 제1 화소의 에지 추정값이 상기 에지 영역 문턱값보다 크면 상기 제1 화소가 에지 영역에 있는 것으로 결정하거나, 또는, 상기 제1 화소의 에지 추정값이 상기 에지 영역 문턱값보다 작거나 같으면 상기 제1 화소가 상기 에지 영역에 있지 않은 것으로 결정하도록 구성되는 에지 영역 결정 서브유닛;

상기 노이즈 추정 인접 지역의 모든 화소의 화소값에 따라 상기 제1 화소의 텍스쳐 추정값을 산출하도록 구성되는 텍스쳐 추정 서브유닛;

상기 제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 큰지를 결정하고, 상기 제1 화소의 텍스쳐 추정값이 상기 텍스쳐 영역 문턱값보다 크면 상기 제1 화소가 텍스쳐 영역에 있는 것으로 결정하거나, 또는 상기 제1 화소의 텍스쳐 추정값이 상기 텍스쳐 영역 문턱값보다 작거나 같으면 상기 제1 화소가 상기 텍스쳐 영역에 있지 않은 것으로 결정하도록 구성되는 텍스쳐 영역 결정 서브유닛; 및

상기 제1 화소가, 상기 제1 화소가 상기 에지 영역에 있지 않은 조건과 상기 제1 화소가 상기 텍스쳐 영역에 있지 않은 조건을 모두 만족하면, 상기 제1 화소가 상기 편평한 영역에 있는 것으로 결정하도록 구성되는 편평한 영역 결정 서브유닛

을 포함한다.

제1 측면의 제3 가능한 구현 예를 참조하여 제1 측면의 제4 가능한 구현 예에서, 상기 에지 추정 서브유닛은, 구체적으로, 다음의 방식:

으로 상기 제1 화소의 상기 에지 추정값을 산출하도록 구성되고,

(x,y)는 상기 현재 프레임에서의 상기 제1 화소의 화소 위치이며, EM(x,y)는 상기 제1 화소의 상기 에지 추정값이고, NH(x,y)는 상기 노이즈 추정 인접 지역이며, E_h, E_v, E_p45, 및 E_n45는 상기 소벨 에지 컨볼루션 커널이고, 그리고 *는 컨볼루션 심볼이며,

상기 텍스쳐 추정 서브유닛은, 구체적으로 다음의 방식:

,

으로 상기 제1 화소의 상기 텍스쳐 추정값을 산출하도록 구성되고,

(x,y)는 상기 현재 프레임에서의 상기 제1 화소의 화소 위치이며, Noise_Max_Min(x,y)는 상기 제1 화소의 상기 텍스쳐 추정값이고, value_i는 상기 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 상기 노이즈 추정 인접 지역이고, 그리고 value_medium는 NH(x,y)의 모든 화소의 화소값들의 중간(middle) 값 또는 평균값이며,

상기 편평한 영역 결정 서브유닛은, 다음의 방식:

,

으로, 상기 제1 화소가, 상기 제1 화소가 상기 에지 영역에 있지 않은 조건과 상기 제1 화소가 상기 텍스쳐 영역에 있지 않은 조건을 모두 만족하는지를 결정하도록 구성되며,

EM(x,y)는 상기 제1 화소의 에지 추정값이며, EGth는 상기 에지 영역 문턱값이고, Noise_Max_Min(x,y)는 상기 제1 화소의 텍스쳐 추정값이며, 그리고 MHth는 상기 텍스쳐 영역 문턱값이다.

제1 측면의 제1 가능한 구현 예를 참조하여 제1 측면의 제5 가능한 구현 예에서, 상기 양자화 노이즈 획득 서브모듈은, 구체적으로, 노이즈 추정 인접 지역에서 모든 화소의 화소값을 획득하고, 다음의 방식:

으로 상기 제1 화소의 양자화 노이즈를 산출하도록 구성되며,

(x,y)는 상기 현재 프레임에서 상기 제1 화소의 화소 위치이며, pixel_noise(x,y)는 상기 제1 화소의 양자화 노이즈이고, value_i는 상기 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 상기 노이즈 추정 인접 지역이며, 그리고 value_median는 NH(x,y)의 모든 화소의 중간값 또는 평균값이며,

상기 노이즈 추정 인접 지역은 상기 제1 화소를 중심으로 하고 상기 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 상기 제1 화소는 상기 제1 블록의 임의 화소이다.

제1 측면을 참조하여 제1 측면의 제6 가능한 구현 예에서, 상기 이동 추정 모듈은,

상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라, 상기 제1 화소의 휘도 노이즈 방지값과 계조도 노이즈 방지값을 획득하도록 구성되는 노이즈 방지값 획득 서브모듈; 및

상기 제1 화소의 상기 휘도 노이즈 방지값과 상기 계조도 노이즈 방지값, 그리고 상기 현재 프레임에서의 화소 위치에서 상기 제1 화소의 화소값에 따라, 상기 제1 화소에 대해 이동 검출을 수행하여 상기 다음 프레임에서의 상기 제1 화소의 화소 위치를 획득하도록 구성되는 이동 검출 서브모듈

을 포함한다.

제1 측면의 제6 가능한 구현 예를 참조하여 제1 측면의 제7 가능한 구현 예에서, 상기 이동 검출 서브모듈은,

상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 휘도 노이즈 방지값에 따라 휘도 변화값을 산출하도록 구성되는 휘도 산출 유닛;

상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 상기 계조도 노이즈 방지값에 따라, 수평 방향 계조도 변화값을 산출하도록 구성되는 수평 계조도 산출 유닛;

상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 상기 계조도 노이즈 방지값에 따라, 수직 방향 계조도 변화값을 산출하도록 구성되는 수직 계조도 산출 유닛;

상기 휘도 변화값과 상기 수평방향 계조도 변화값과 상기 수직방향 계조도 변화값에 따라, 상기 제1 화소의 화소 유사성 매칭값을 산출하도록 구성되는 유사성 매칭값 산출 유닛; 및

상기 화소 유사성 매칭값의 최소값이 획득되는 경우, 상기 다음 프레임에서의 상기 제1 화소의 화소 위치를 산출하도록 구성되는 화소 위치 산출 유닛

을 포함한다.

제1 측면의 제7 가능한 구현 예를 참조하여 제1 측면의 제8 가능한 구현 예에서, 상기 휘도 산출 유닛은 구체적으로, 상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 상기 휘도 변화값을 산출하도록 구성되며,

는 상기 휘도 변화값이고, 는 상기 제1 화소의 상기 휘도 노이즈 방지값이며,

이고, (x,y)는 상기 현재 프레임에서의 상기 제1 화소의 화소 위치이고,

는 m번째 프레임에서의 상기 제1 화소의 화소값이며, 상기 m번째 프레임은 상기 제1 화소의 현재 프레임이고, (m+1)번째 프레임은 상기 제1 화소의 다음 프레임이며, 그리고

는 (m+1) 번째 프레임에서의 상기 제1 화소의 화소값이고,

상기 수평 계조도 산출 유닛은, 구체적으로, 상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 상기 수평 방향 계조도 변화값을 산출하도록 구성되며,

는 상기 수평방향 계조도 변화값이며,

는 상기 제1 화소의 계조도 노이즈 방지값이고,

이고,

는 상기 제1 화소가 수평 방향에서 상기 현재 프레임의 화소값

으로부터 위로 이동하는 후에 획득되는 화소값이며,

는 상기 제1 화소가 수평 방향에서 상기 현재 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이고,

는 상기 제1 화소가 수평 방향에서 상기 다음 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이며,

는 상기 제1 화소가 수평 방향에서 상기 다음 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이고,

상기 수직 계조도 산출 유닛은, 구체적으로, 상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 상기 수직 방향 계조도 변화값을 산출하도록 구성되며,

는 상기 수직방향 계조도 변화값이고,

는 상기 제1 화소의 계조도 노이즈 방지값이며,

이고,

는 상기 제1 화소가 수직 방향에서 상기 현재 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이고,

는 상기 제1 화소가 수직 방향에서 상기 현재 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이며,

는 상기 제1 화소가 수직 방향에서 상기 다음 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이고,

는 상기 제1 화소가 수직 방향에서 상기 다음 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이며; 그리고

상기 유사성 매칭값 산출 유닛은, 구체적으로, 다음의 방식:

으로 상기 제1 화소의 화소 유사성 매칭값을 산출하도록 구성되며,

는 상기 제1 화소의 화소 유사성 매칭값이고,

는 상기 휘도 변화값이며,

는 상기 수평방향 계조도 변화값이고,

는 상기 수직방향 계조도 변화값이다.

제1 측면의 제6 가능한 구현 예를 참조하여 제1 측면의 제9 가능한 구현 예에서, 상기 노이즈 획득 모듈은 추가로,

상기 노이즈 영상의 모든 N개의 섹션의 양자화 노이즈를 획득하고, 상기 N개의 섹션의 양자화 노이즈와 N개의 미리 설정된 양자화 문턱값을 비교하고, 상기 N개의 섹션의 양자화 노이즈를 (N+1)개의 노이즈 레벨로 분류하도록 구성되며,

상기 노이즈 방지값 획득 서브모듈은, 구체적으로,

상기 제1 섹션의 노이즈 레벨을 추출하고, 상기 노이즈 레벨과 상기 휘도 노이즈 방지값 사이의 양의 상관관계에 따라 상기 제1 화소의 상기 휘도 노이즈 방지값을 획득하며, 상기 노이즈 레벨과 상기 계조도 노이즈 방지값 사이의 양의 상관관계에 따라 상기 제1 화소의 상기 계조도 노이즈 방지값을 획득하도록 구성된다.

제1 측면을 참조하여 제1 측면의 제10 가능한 구현 예에서, 상기 이동/정지 결정 모듈은,

상기 이동 추정 인접 지역의 상기 현재 프레임에서의 모든 화소의 화소 위치와 상기 이동 추정 인접 지역의 상기 다음 프레임에서의 모든 화소의 화소 위치에 따라, 상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들을 카운팅하도록 구성되는 카운팅 서브모듈;

상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들의 수량과 이동/정지를 결정하기 위한 미리 설정된 문턱값을 비교하도록 구성되는 이동/정지결정 서브모듈;

상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들의 수량이 상기 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 크거나 같으면, 상기 제1 화소가 상기 정지 영역에 있는 것으로 결정하도록 구성되는 정지 결정 서브모듈; 및

상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들의 수량이 상기 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 작으면, 상기 제1 화소가 상기 이동 영역에 있는 것으로 결정하도록 구성되는 이동 결정 서브모듈

을 포함한다.

제1 측면을 참조하여 제1 측면의 제11 가능한 구현 예에서, 상기 제1 혼합 계수 선택 모듈은,

상기 제1 화소의 제1 프레임 차이가 상기 미리 설정된 제1 프레임 차이 문턱값보다 작은지를 결정하도록 구성되는 제1 프레임 차이 결정 서브모듈;

상기 제1 화소의 제1 프레임 차이가 상기 미리 설정된 제1 프레임 차이 문턱값보다 작거나 같으면, 상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라 상기 제1 혼합 계수를 선택하도록 구성되는 제1 선택 서브모듈; 및

상기 제1 화소의 제1 프레임 차이가 상기 미리 설정된 제1 프레임 차이 문턱값보다 크면, 상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라, 제1 프레임 차이 가중치 계수를 선택하고, 상기 제1 프레임 차이 문턱값과 상기 제1 화소의 제1 프레임 차이와 상기 제1 프레임 차이 가중치 계수에 따라 상기 제1 혼합 계수를 선택하도록 구성되는 제2 선택 서브모듈

을 포함한다.

제1 측면을 참조하여 제1 측면의 제12 가능한 구현 예에서, 상기 제1 시간적 노이즈 감소 모듈은, 구체적으로,

다음의 방식:

으로 상기 제1 화소에 대응하는 상기 제1 노이즈 감소 화소값을 산출하도록 구성되며,

는 상기 제1 화소에 대응하는 상기 제1 노이즈 감소 화소값이며,

는 상기 현재 프레임에서의 상기 제1 화소에 대응하는 위치의 화소값이고, 이동 추정 및 이동 보상이 상기 이전 프레임에서의 상기 제1 화소의 상기 노이즈 감소 화소를 토대로 수행된 다음에 획득되며,

는 상기 제1 혼합 계수이고,

는 상기 현재 프레임에서의 상기 제1 화소의 화소값이다.

제1 측면을 참조하여 제1 측면의 제13 가능한 구현 예에서, 상기 제2 시간적 노이즈 감소 모듈은, 구체적으로,

다음의 방식:

으로 상기 제1 화소에 대응하는 상기 제2 노이즈 감소 화소값을 산출하도록 구성되며,

는 상기 제1 화소에 대응하는 상기 제2 노이즈 감소 화소값이며,

는 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소의 대응 위치의 화소값이고,

는 상기 제2 혼합 계수이며,

는 상기 현재 프레임에서의 상기 제1 화소의 화소값이다.

제2 측면을 참조하여 제2 측면의 제1 가능한 구현 예에서,

전술한 기술적 솔류션들로부터 본 발명의 실시 예들이 다음과 같은 효과를 가짐을 알 수 있다.

본 발명의 실시 예들에서, 노이즈 영상은 다수의 섹션들로 분할되고; 먼저, 제1 섹션의 양자화 노이즈가 획득되며; 그리고 화소들이 개별적으로 현재 프레임의 화소 위치에서 다음 프레임으로 이동한 후에, 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역의 제1 섹션에서의 모든 화소의 화소 위치들이 검출되고; 다음에, 현재 프레임에서 다음 프레임으로 변화하는 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황(change situation)에 따라, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지가 결정되며; 다음에, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지의 결정에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들이 개별적으로 설정되며, 그리고 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 산출 방식들과 이전 프레임 화소값 산출 방식들이 사용되고; 최종적으로, 혼합 계수와 이전 프레임의 화소값과 현재 프레임에서의 제1 화소의 화소값에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 노이즈 감소 혼합 방식들이 선택되며, 혼합 계수는 제1 화소의 이동 추정 결과에 따라 선택된다. 본 발명의 실시 예에서, 정지/이동은 제1 화소가 속하는 제1 섹션의 양자화 노이즈를 참조하여 결정될 수 있으며, 그러므로 부정확한 결정의 확률이 매우 낮으며; 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지를 결정하는 것의 상이한 결과에 대하여, 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들이 개별적으로 설정되고, 상이한 프레임 차이 산출 방식들이 사용되며; 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들과 프레임 차이 산출 방식들에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 혼합 계수들이 선택되고; 이동 영역 및 정지 영역에 적용 가능한 상이한 혼합 계수들과 프레임 차이 산출 방식들과 현재 프레임에서의 제1 화소의 화소값에 따라, 노이즈 감소 혼합 방식이 선택된다. 이러한 방식으로, 노이즈 영상이 이동 영역에 있는지 또는 정지 영역에 있는지에 따라 노이즈 감소 처리가 구현될 수 있으며, 검출 에러의 확률이 매우 낮다. 그러므로 본 발명의 이러한 실시 예들의 기술적 솔루션은 다수의 노이즈 시나리오에 적용될 수 있다.

본 발명의 실시 예들에서 기술적 솔루션들을 기술하기 위하여, 다음에 실시 예들을 기술하기 위하여 요구되는 첨부된 도면들을 간략하게 설명한다. 명백히, 다음 설명에서의 첨부된 도면들은 단지 본 발명의 일부 실시 예들을 보여주며, 당업자는 이러한 첨부된 도면들로부터 다른 도면들을 여전히 도출할 수 있다.
도 1은 본 발명의 실시 예에 따른 노이즈 영상에 대한 시간적 노이즈 감소 방법의 프로세스의 개략적인 블록도이다.
도 2는 본 발명의 본 실시 예에 따른 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계의 개략도(schematic diagram)이다.
도 3은 본 발명의 본 실시 예에 다른 노이즈 레벨과 혼합 계수 사이의 양의 상관관계의 개략도이다.
도 4는 본 발명의 본 실시 예에 따른 혼합 계수와 프레임 차이 사이의 관계의 개략도이다.
도 5는 광학적 플로우 방법(optical flow method)의 이동 추정 및 보상을 토대로 하는 TNR의 구현 프로세스의 개략도이다.
도 6은 본 발명의 본 실시 예에 따른 혼합 계수와 프레임 차이 사이의 다른 관계의 개략도이다.
도 7은 정지 영역이 광학적 플로우 방법을 토대로 결정되는 경우에 TNR의 구현 프로세스의 개략도이다.
도 8은 본 발명의 실시 예에 따른 노이즈 영상에 대한 시간적 노이즈 감소 방법의 전체적인 프로세스의 개략도이다.
도 9는 본 발명의 실시 에에 따른 노이즈 영상을 섹션들로 분할하는 개략도이다.
도 10은 본 발명의 실시 예에 따른 소벨 에지 컨볼루션 커널(sobel edge convolution kernels)의 값들의 개략도이다.
도 11a는 본 발명의 실시 에에 따른 노이즈 영상의 섹션들의 양자화 노이즈값들의 누적 히스토그램이다.
도 11b는 누적 히스토그램을 나타내는 개략도이다.
도 12는 본 발명의 실시 예에 따른, 제1 화소가 현재 프레임에서 다음 프레임으로 트랜짓(transit)하는 경우의 위치 변화의 개략도이다.
도 13은 본 발명의 실시 예에 따른 이동 추정 인접 지역(movement estimation neighborhood)의 구현 방식의 개략도이다.
도 14a는 본 발명의 실시 예에 따른, 제1 화소가 이동 영역에 있는 노이즈 영상의 개략도이다.
도 14b는 본 발명의 실시 에에 따른, 제1 화소가 정지 영역에 있는 노이즈 영상의 개략도이다.
도 15a는 본 발명의 실시 예에 따른 노이즈 영상에 대한 시간적 노이즈 감소 장치의 개략적인 구조도이다.
도 15b는 본 발명의 실시 예에 따른 노이즈 획득 모듈의 개략적인 구조도이다.
도 15c는 본 발명의 실시 예에 따른 양자화 노이즈 획득 모듈의 개략적인 구조도이다.
도 15d는 본 발명의 실시 예에 따른 영역 결정 유닛의 개략적인 구조도이다.
도 15e는 본 발명의 실시 예에 따른 이동 추정 모듈의 개략적인 구조도이다.
도 15f는 본 발명의 실시 예에 따른 이동 검출 서브모듈의 개략적인 구조도이다.
도 15g는 본 발명의 실시 예에 따른 이동/정지 결정 모듈의 개략적인 구조도이다.
도 15h는 본 발명의 실시 예에 따른 제1 혼합 계수 선택 모듈의 개략적인 구조도이다.
도 16은 본 발명의 실시 예에 따른 다른 노이즈 영상에 대한 시간적 노이즈 감소 장치의 개략적인 구조도이다.

본 발명의 실시 예는 노이즈 영상에 대한 시간적 노이즈 감소 방법 및 관련 장치를 제공하며, 낮은 검출 에러 확률로 노이즈 영상에 대한 노이즈 감소 처리를 수행하는 데 사용되며, 다수 노이즈 시나리오에 적용될 수 있다.

본 발명의 목적, 특징 그리고 장점을 보다 명확하고 이해 가능하게 하기 위하여, 다음에는 본 발명의 실시 예들의 첨부된 도면들을 참조하여 본 발명의 실시 예에서의 기술적 솔루션을 명확하고 완전하게 설명한다.

명백히, 다음에 기술되는 실시 예들은 본 발명의 모든 실시 예들이라기보다는 일부이다. 본 발명의 실시 예를 토대로 당업자에 의해 획득되는 다른 실시 예들 모두는 본 발명의 보호 범위 내에 포함될 것이다.

본 발명의 명세서, 청구범위 그리고 첨부된 도면에서, "제1", "제2" 등의 용어는 유사한 객체(objects)를 구별하기 위하여 사용되며, 반드시 특정 순서나 시퀀스(sequence)를 나타내지 않는다. 이와 같이 사용되는 용어는 적절한 상황에서 상호교환될 수 있으며, 이는 본 발명의 실시 예에서 동일한 속성을 가지는 객체들을 구별하기 위한 하나의 방식임을 주목해야 한다. 더욱이, "포함(include)", "컨테인(contain)" 및 다른 변종(variants)들은 비배타적 포함(the non-exclusive inclusion)을 커버(cover)하는 것을 의미함으로써, 유닛(unit)들의 리스트를 포함하는 프로세스, 방법, 시스템, 제품 또는 장치(device)가 그들의 유닛에 반드시 한정되지 않으며, 이러한 프로세스, 방법, 시스템, 제품 또는 장치에 명시적으로 나열되어 있지 않거나 내재되어 있지 않은 다른 유닛들을 포함할 수 있다.

다음에는 개별적으로 상세한 설명을 제공한다.

본 발명의 실시 예에서, 모바일(mobile) 장치의 노이즈 영상에 대한 시간적 노이즈 감소 방법은,

노이즈 영상의 제1 섹션(section)의 양자화 노이즈(quantization noise)를 획득하는 단계 - 제1 섹션은 노이즈 영상으로부터 분할된 다수 섹션들 중의 하나임 -;

화소가 현재 프레임의 화소 위치에서 다음 프레임(next frame)으로 이동한 후에, 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역(movement estimation neighborhood)에서의 모든 화소들의 화소 위치를 검출하는 단계 - 이동 추정 인접 지역은 제1 화소를 중심으로 하는 인접 화소들을 포함하며, 제1 화소는 제1 섹션에서의 임의 화소임 -;

현재 프레임에서 다음 프레임으로 변화하는 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황(pixel position change situation)에 따라, 제1 화소가 이동 영역에 있는지 또는 정지 영역(still area)에 있는지를 결정하는 단계;

제1 화소가 이동 영역에 있으면, 제1 화소의 제1 프레임 차이(difference)와 미리 설정된 제1 프레임 차이 문턱값에 따라, 제1 혼합 계수(blending coefficient)를 선택하고, 제1 혼합 계수와 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 이동 보상(compensation) 화소값에 따라, 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하는 단계; 및

제1 화소가 정지 영역에 있으면, 제1 화소의 제2 프레임 차이와 미리 설정된 제2 프레임 차이 문턱값에 따라 제2 혼합 계수를 선택하고, 제2 혼합 계수와 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 노이즈 감소 화소값에 따라, 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하는 단계

를 포함할 수 있으며,

제1 프레임 차이는 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 이동 보상 화소값 사이의 차이이며, 이동 보상 화소값은 현재 프레임에서의 제1 화소의 대응 위치의 화소값이며, 이전 프레임에서의 제1 화소의 노이즈 감소 화소를 토대로 이동 추정 및 이동 보상이 수행된 후에 획득되고,

제2 프레임 차이 문턱값은 제1 프레임 차이 문턱값보다 크고, 제2 프레임 차이는 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 노이즈 감소 화소값 사이의 차이이며, 노이즈 감소 화소값은 이전 프레임에서의 제1 화소의 노이즈 감소 화소의 대응 위치의 화소값이다.

도 1을 참조하여, 본 발명의 실시 예에 따른 노이즈 영상에 대한 시간적 노이즈 감소 방법은 다음의 단계를 포함할 수 있다.

101: 노이즈 영상의 제1 섹션의 양자화 노이즈를 획득한다.

제1 섹션은 노이즈 영상으로부터 분할된 다수의 섹션들 중에서 하나이다.

본 발명의 본 실시 예에서, 디지털 영상은 디지털화 및 전송 프로세스 동안에 일반적으로 촬상 장치, 외부 환경에서의 노이즈 간섭 등에 의해 영향을 받는다. 그러므로 노이즈 간섭을 가지는 이러한 디지털 영상은 노이즈 영상으로 명명된다. 본 발명의 본 실시 예에서, 노이즈 영상은 먼저 다수의 섹션들로 분할되며; 영상의 상이한 섹션들에 대하여, 디지털화 및 전송 프로세스 동안에 야기되는 노이즈 간섭은 상이할 수 있으며, 그러므로 각 섹션의 양자화 노이즈는 시나리오의 상이한 실제 상황에 따라 개별적으로 산출될 수 있다. 본 발명의 본 실시 예에서, 제1 섹션에 포함되는 제1 화소는 노이즈 영상에 대한 시간적 노이즈 감소를 어떻게 수행할 것인지를 기술하기 위한 하나의 예로 사용된다. 확실히, 노이즈 영상의 다른 섹션에 포함되는 화소를 처리하는 프로세스에 대하여, 제1 화소를 처리하는 방법이 참조될 수 있다.

본 발명의 일부 실시 예에서, 노이즈 영상이 다수의 섹션들로 분할된 후에에, 제1 화소에 포함되는 화소들의 화소값을 이용하여 노이즈 영상의 제1 섹션의 양자화 노이즈를 획득하는 것이, 실제 애플리케이션에서 다수의 방식으로 구현될 수 있다. 예를 들어, 단계(101)에서 노이즈 영상의 제1 섹션의 양자화 노이즈를 획득하는 것은 구체적으로 다음의 단계를 포함할 수 있다.

A1: 제1 섹션을 다수의 블록들로 분할하며, 각 블록은 다수의 화소들을 포함한다.

A2: 제1 블록의 모든 화소들의 양자화 노이즈를 획득하며, 제1 블록의 모든 화소들의 양자화 노이즈에 따라 제1 블록의 양자화 노이즈를 획득하며, 제1 블록은 제1 섹션에서의 임의 블록이며, 제1 섹션에서 제1 블록을 제외한 모든 블록의 양자화 노이즈를 개별적으로 획득한다.

A3: 제1 섹션에서 모든 블록의 양자화 노이즈를 토대로 평균 양자화 노이즈를 산출하고, 평균 양자화 노이즈를 제1 섹션의 양자화 노이즈로 사용하거나; 또는 제1 섹션에서 하나씩 모든 블록의 양자화 노이즈를 누적하고, 누적 히스토그램에서 미리 설정된 노이즈 문턱값보다 큰 양자화 노이즈를 제1 섹션의 양자화 노이즈로 사용한다.

단계(A1)에 대하여, 노이즈 영상의 제1 섹션은 다수의 블록들로 분할되고, 그러므로 노이즈 영상의 제1 섹션에 포함된 모든 화소들은 모든 블록들 사이에 분산되어 있으며; 단계(A2)는 제1 섹션에 포함된 제1 블록의 양자화 노이즈의 산출 및 제1 섹션의 제1 블록을 제외한 모든 블록들의 양자화 노이즈의 산출을 기술하며; 제1 섹션에서 모든 블록의 양자화 노이즈가 산출된 후에, 단계(A3)의 제1 섹션의 양자화 노이즈를 산출하는 것이 두 개의 상이한 방식으로 구현될 수 있다. 하나의 방식은 모든 블록의 양자화 노이즈의 평균값을 획득하고, 평균값을 제1 섹션의 양자화 노이즈로 사용하는 것이며, 다른 방식은 모든 블록의 양자화 노이즈를 하나씩 누적하고 누적 히스토그램을 생성하며, 노이즈 문턱값을 설정하고, 그리고 누적 히스토그램에서 노이즈 문턱값보다 큰 양자화 노이즈를 제1 섹션의 양자화 노이즈로 사용하는 것이다.

본 발명의 일부 다른 실시 예에서, 단계(A2)에서 제1 블록의 모든 화소의 양자화 노이즈를 획득하는 것은,

노이즈 추정 인접 지역에서 모든 화소의 화소값을 획득하는 단계 - 노이즈 추정 인접 지역은 제1 화소를 중심으로 하고 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 제1 화소는 제1 블록의 임의 화소임 -; 및

다음의 방식:

으로 제1 화소의 양자화 노이즈를 산출하는 단계

를 포함하며,

(x,y)는 현재 프레임에서 제1 화소의 화소 위치이며, pixel_noise(x,y)는 제1 화소의 양자화 노이즈이고, value_i는 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 노이즈 추정 인접 지역이며, 그리고 value_median는 NH(x,y)의 모든 화소의 중간값 또는 평균값이다.

본 발명의 일부 다른 실시 예에서, 단계(A2)에서 제1 블록의 모든 화소의 양자화 노이즈에 따라 제1 블록의 양자화 노이즈를 획득하는 것은 다음의 단계들을 포함한다.

A21: 제1 블록의 각 화소가 편평한 영역에 있는지를 결정한다.

A22 : 편평한 영역에 있는 제1 블록의 모든 화소의 양자화 노이즈를 획득한다.

A23: 편평한 영역에 있는 제1 블록의 모든 화소의 양자화 노이즈에 따라 제1 블록의 양자화 노이즈를 산출한다.

단계(A21)에서 제1 블록의 각 화소가 편평한 영역에 있는지를 결정하는 데 있어서, 제1 블록에 포함되는 모든 화소가 다음의 3가지 타입으로 분류될 수 있다. 제1 타입은 편평한 영역의 화소이고, 제2 타입은 에지 영역의 화소이며, 제3 타입은 텍스쳐 영역의 화소이다. 그리고 제1 블록의 양자화 노이즈를 산출하는데에 있어서, 텍스쳐 영역의 화소와 에지 영역의 화소는 무시될 수 있으며, 즉, 단지 편평한 영역에 있는 제1 블록의 화소들이 제1 블록의 양자화 노이즈를 산출하는 데 사용된다. 예를 들어, 단계(A23)에서, 편평한 영역에 있는 제1 블록의 모든 화소의 양자화 노이즈의 최소값이 획득될 수 있으며, 최소 양자화 노이즈는 제1 블록의 양자화 노이즈로 사용되거나; 또는 편평한 영역에 있는 제1 블록의 모든 화소의 양자화 노이즈의 평균값이 획득될 수 있으며, 평균값이 제1 블록의 양자화 노이즈로 사용된다.

본 발명의 일부 다른 실시 예에서, 단계(A21)에서 제1 블록의 각 화소가 편평한 영역에 있는지를 결정하는 것은 다음의 단계들을 포함한다.

A211: 노이즈 추정 인접 지역에서 모든 화소의 화소값을 획득하며, 노이즈 추정 인접 지역은 제1 화소를 중심으로 하고 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들이며, 제1 화소는 제1 블록의 임의 화소이다.

A212: 노이즈 추정 인접 지역의 모든 화소의 화소값과 소벨 에지 컨볼루션 커널(sobel edge convolution kernels)에 따라 제1 화소의 에지 추정값을 산출한다.

A213: 제1 화소의 에지 추정값이 에지 영역 문턱값보다 큰지를 결정하며, 제1 화소의 에지 추정값이 에지 영역 문턱값보다 크면 제1 화소가 에지 영역에 있는 것으로 결정하거나; 또는 제1 화소의 에지 추정값이 에지 영역 문턱값보다 작거나 같으면 제1 화소가 에지 영역에 있지 않은 것으로 결정한다.

A214: 노이즈 추정 인접 지역에서 모든 화소의 화소값에 따라 제1 화소의 텍스쳐 추정값을 산출한다.

A215: 제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 큰지를 결정하며, 제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 크면 제1 화소가 텍스쳐 영역에 있는 것으로 결정하거나; 또는 제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 작거나 같으면 제1 화소가 텍스쳐 영역에 있지 않은 것으로 결정한다.

제1 화소가, 제1 화소가 에지 영역에 있지 않은 조건과 제1 화소가 텍스쳐 영역에 있지 않은 조건을 모두 만족하면, 제1 화소가 편평한 영역에 있는 것으로 결정한다.

에지 영역 문턱값과 텍스쳐 영역 문터값은 특정 애플리케이션 시나리오에 따라 설정되어야 하며, 문턱값의 특정 값은 실제 애플리케이션 시나리오에 따라 결정될 수 있다.

구체적으로, 단계(A212)에서 노이즈 추정 인접 지역의 모든 화소의 화소값과 소벨 에지 컨볼루션 커널에 따라 제1 화소의 에지 추정값을 산출하는 것은,

다음의 방식:

으로 제1 화소의 에지 추정값을 산출하는 단계를 포함하며,

(x,y)는 현재 프레임에서의 제1 화소의 화소 위치이며, EM(x,y)는 제1 화소의 에지 추정값이고, NH(x,y)는 노이즈 추정 인접 지역이며, E_h, E_v, E_p45, 및 E_n45는 소벨 에지 컨볼루션 커널이고, 그리고 *는 컨볼루션 심볼(symbol)이다.

단계(A214)에서 노이즈 추정 지역의 모든 화소의 화소값에 따라 제1 화소의 텍스쳐 추정값을 산출하는 것은,

,

의 방식으로 제1 화소의 텍스쳐 추정값을 산출하는 단계 - (x,y)는 현재 프레임에서의 제1 화소의 화소 위치이며, Noise_Max_Min(x,y)는 제1 화소의 텍스쳐 추정값이고, value_i는 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 노이즈 추정 인접 지역이고, 그리고 value_medium는 NH(x,y)의 모든 화소의 화소값들의 중간(middle) 값 또는 평균값임 -; 및

의 방식으로, 제1 화소가, 제1 화소가 에지 영역에 있지 않은 조건과 제1 화소가 텍스쳐 영역에 있지 않은 조건을 모두 만족하는지를 결정하는 단계

를 포함하며,

EM(x,y)는 제1 화소의 에지 추정값이며, EGth는 에지 영역 문턱값이고, Noise_Max_Min(x,y)는 제1 화소의 텍스쳐 추정값이며, 그리고 MHth는 텍스쳐 영역 문턱값이다.

본 발명의 본 실시 예에서, 단계(101)에서 노이즈 영상의 제1 섹션의 양자화 노이즈를 획득한 후에, 방법이 다음의 단계를 더 포함할 수 있음을 주목해야 한다.

상기 방법은,

노이즈 영상의 모든 N개의 섹션의 양자화 노이즈를 획득하는 단계; 및

N개의 섹션의 양자화 노이즈와 N개의 미리 설정된 양자화 문턱값을 비교하고, N개의 섹션의 양자화 노이즈를 (N+1)개의 노이즈 레벨로 분류하는 단계

를 더 포함할 수 있다.

N은 비제로(non-zero) 자연수이다. 예를 들어, N의 값은 7이고, 그러므로 노이즈 영상은 전체적으로 7개의 섹션으로 분할된다. 제1 섹션의 양자화 노이즈를 획득하는 전술한 방법에 따라, 제2 섹션의 양자화 노이즈, 제3 섹션의 양자화 노이즈, 제4 섹션의 양자화 노이즈, 제5 섹션의 양자화 노이즈, 제6 섹션의 양자화 노이즈, 및 제7 섹션의 양자화 노이즈가 개별적으로 산출된다. 7개의 미리 설정된 양자화 문턱값에 따라, 7개의 섹션들의 양자화 노이즈들이 노이즈 레벨 0, 노이즈 레벨 1, 노이즈 레벨 2, 노이즈 레벨 3, 노이즈 레벨 4, 노이즈 레벨 5, 노이즈 레벨 6, 그리고 노이즈 레벨 7인 8개의 노이즈 레벨들로 분류될 수 있다.

노이즈 영상의 모든 섹션의 양자화 노이즈가 상이한 노이즈 레벨들로 분류된 후에, 화소의 다수 파라미터들과 노이즈 레벨들 사이의 관계는 노이즈 환경에서 노이즈 영상의 알려진 시뮬레이션 결과에 따라 설정될 수 있다. 구체적으로, 관계는 그래픽 방식으로 제시될 수 있으며, 그러므로, 혼합 계수와 노이즈 레벨 사이의 양의 상관관계((positive correlation relationship), 휘도 노이즈 방지값과 노이즈 레벨 사이의 양의 상관관계, 그리고 계조도 노이즈 방지값과 노이즈 레벨 사이의 양의 상관관계와 같은 노이즈 레벨들과 파라미터들 사이의 비례적 관계들이 그래픽을 토대로 시각적으로 제시될 수 있다.

102: 화소가 현재 프레임에서의 화소 위치에서 다음 프레임으로 이동한 후에 제1 섹션의 양자화 노이즈에 따라, 다음 프레임에서의 이동 추정 인접 지역의 모든 화소의 화소 위치를 검출한다.

이동 추정 인접 지역은 제1 화소를 중심으로 하는 인접 화소들을 포함하며 제1 화소는 제1 섹션에서의 임의 화소이다.

본 발명의 본 실시 예에서, 제1 화소가 현재 프레임에서 다음 프레임으로 이동한 후에 제1 화소가 이동하였는지를 결정하기 위하여, 제1 화소를 중심으로 하는 1xn 인접 지역이 분할에 의해 획득될 수 있으며, 인접 지역은 이동 추정 인접 지역으로 정의될 수 있다. 이동 추정 인접 지역은 중심 화소로 기능하는 제1 화소와 중심 화소의 인접 화소들을 포함한다. 예를 들어, n=5인 경우, 이는 제1 화소의 왼쪽의 2개의 화소와 제1 화소의 오른쪽의 2개의 화소 그리고 제1 화소인 전체적으로 5개의 화소들이 제1 화소의 이동 추정 인접 지역을 형성하는 것을 나타낸다. 제1 화소의 이동 추정 인접 지역이 분할에 의해 획득된 후에, 이동 추정 인접 지역의 모든 화소가 정지 영역에 있는지 아니면 이동 영역에 있는지를 결정하기 위하여, 화소가 개별적으로 현재 화소 위치에서 다음 프레임으로 이동한 후에 다음 프레임에서의 이동 추정 인접 지역의 제1 화소 및 다수 화소의 화소 위치들이, 제1 섹션의 양자화 노이즈에 따라 검출된다.

본 발명의 일부 실시 예에서, 단계(102)에서 화소가 현재 프레임에서의 화소 위치에서 다음 프레임으로 이동한 후에 제1 섹션의 양자화 노이즈에 따라, 다음 프레임에서의 이동 추정 인접 지역의 모든 화소의 화소 위치를 검출하는 것은 다음의 단계들을 포함한다.

B1 : 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라, 제1 화소의 휘도 노이즈 방지값(brightness anti-noise value)과 계조도 노이즈 방지값(gradient anti-noise value)을 획득한다.

B2: 제1 화소의 휘도 노이즈 방지값과 계조도 노이즈 방지값, 그리고 현재 프레임에서의 화소 위치에서 제1 화소의 화소값에 따라, 제1 화소에 대해 이동 검출을 수행하여 다음 프레임에서의 제1 화소의 화소 위치를 획득한다.

B3: 제1 섹션의 양자화 노이즈에 따라, 제1 섹션에서 제1 화소를 제외한 나머지 화소들의 휘도 노이즈 방지값과 계조도 노이즈 방지값을 획득한다.

B4: 제1 섹션에서 제1 화소를 제외한 나머지 화소들의 휘도 노이즈 방지값과 계조도 노이즈 방지값, 그리고 현재 프레임에서의 화소 위치에서 제1 섹션의 제1 화소를 제외한 나머지 화소들의 화소값들에 따라, 제1 섹션에서 제1 화소를 제외한 나머지 화소들에 대해 이동 검출을 수행하여, 다음 프레임에서 제1 섹션의 제1 화소를 제외한 나머지 화소들의 화소 위치들을 획득한다.

단계(B1)와 단계(B2)는 다음 프레임에서 제1 화소의 화소 위치를 어떻게 검출하는지를 기술하며, 단계(B3)와 단계(B4)는 다음 프레임에서 제1 섹션의 제1 화소를 제외한 나머지 화소들의 화소 위치를 어떻게 검출하는지를 기술함을 주목해야 하며, 다음 프레임에서 제1 화소의 화소 위치를 검출하는 것과, 다음 프레임에서 제1 섹션의 제1 화소를 제외한 나머지 화소들의 화소 위치를 검출하는 것은 동시에 수행될 수 있으며, 또는 다음 프레임에서 제1 섹션의 임의 화소의 화소 위치가 먼저 검출될 수 있으며, 또는 다음 프레임에서 제1 섹션의 모든 화소의 화소 위치들이 동시에 검출될 수 있으며, 이에 한정되지는 않는다. 단계(B3)와 단계(B4)의 구현 방식은 단계(B1)와 단계(B2)의 구현 방식과 유사하다. 다음에 추가로 단계(B1)와 단계(B2)를 구체적으로 설명한다.

본 발명의 본 실시 예에서, 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라, 제1 화소의 휘도 노이즈 방지값과 계조도 노이즈 방지값을 획득하는 단계는, 구체적으로

제1 섹션의 노이즈 레벨을 추출하고, 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계에 따라 제1 화소의 휘도 노이즈 방지값을 획득하며, 노이즈 레벨과 계조도 노이즈 방지값 사이의 양의 상관관계에 따라 제1 화소의 계조도 노이즈 방지값을 획득하는 단계를 포함할 수 있다.

다수의 노이즈 레벨들이 노이즈 영상의 모든 섹션의 양자화 노이즈에 대하여 설정되는 경우, 제1 화소가 속하는 섹션(즉, 제1 섹션)의 노이즈 레벨이 추출될 수 있으며, 제1 화소의 휘도 노이즈 방지값이 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계에 따라 획득됨을 주목해야 하며, 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계는 구체적으로, 양의 비례적 관계 또는 양의 비례적 경향(trend) 관계를 나타낼 수 있으며; 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계의 개략도는 노이즈 환경에서의 노이즈 영상의 알려진 시뮬레이션 결과에 따라 설정될 수 있으며, 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계의 개략도는 또한 경험적 값(empirical value)에 따라 설정될 수 있다. 도 2를 참조하면, 도 2는 본 발명의 본 실시 예에 따른 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계의 개략도이다. 이 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계의 개략도를 토대로, 휘도 노이즈 방지값이 노이즈 레벨에 따라 시각적으로 획득될 수 있다. 예를 들어, 노이즈 레벨이 3인 경우 휘도 노이즈 방지값(lath)에 대응하는 값이 4이며, 노이즈 레벨이 5인 경우 휘도 노이즈 방지값에 대응하는 값은 14이다. 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계는 또한 예를 사용하여 그래픽 방식으로 설명될 수 있으며, 여기서는 상세한 설명을 생략한다. 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계의 개략도는 특정 애플리케이션 시나리오에 따라 유연하게 설정되어야 한다. 여기서 주어진 실례(illustration)는 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계의 구현 방식을 기술하기 위하여 의도된 것이며, 모든 시나리오에서의 휘도 노이즈 방지값의 값들에 대한 특정 상황(specified situation)으로서 사용되는 것은 아니다.

본 발명의 일부 다른 실시 예에서, 단계(B2)에서, 제1 화소의 휘도 노이즈 방지값과 계조도 노이즈 방지값, 그리고 현재 프레임에서의 화소 위치에서 제1 화소의 화소값에 따라, 제1 화소에 대해 이동 검출을 수행하여 다음 프레임에서의 제1 화소의 화소 위치를 획득하는 것은, 다음의 단계들을 포함할 수 있다.

B21: 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 휘도 노이즈 방지값에 따라, 휘도 변화값(brightness change value)을 산출한다.

B22: 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 계조도 노이즈 방지값에 따라, 수평 방향 계조도 변화값(horizontal-direction gradient change value)을 산출한다.

B23: 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 계조도 노이즈 방지값에 따라, 수직 방향 계조도 변화값(vertical gradient change value)을 산출한다.

B24: 휘도 변화값과 수평방향 계조도 변화값과 수직방향 계조도 변화값에 따라, 제1 화소의 화소 유사성 매칭값(pixel similarity matching value)을 산출한다.

B25: 화소 유사성 매칭값의 최소값이 획득되는 경우, 다음 프레임에서의 제1 화소의 화소 위치를 산출한다.

단계(B21, B22, B23)에서 휘도 변화값, 수평 방향 계조도 변화값 그리고 수직 방향 계조도 변화값이 산출된 후에, 휘도 변화값과 수평 방향 계조도 변화값과 수직 방향 계조도 변화값을 더하여 화소 유사성 매칭값이 획득될 수 있다. 그리고 단계(B25)에서, 화소 유사성 매칭값의 최소값(mim)이 획득되는 경우, 화소 유사성 매칭값의 최소값이 산출되는 경우의 다음 프레임에서의 제1 화소의 화소 위치가 산출될 수 있다.

구체적으로, 단계(B21)에서, 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 휘도 노이즈 방지값에 따라, 휘도 변화값을 산출하는 것은,

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 휘도 변화값을 산출하는 단계를 포함하며,

는 휘도 변화값이고,

는 제1 화소의 휘도 노이즈 방지값이며,

이고, (x,y)는 현재 프레임에서의 제1 화소의 화소 위치이고,

는 m번째 프레임에서의 제1 화소의 화소값이며, m번째 프레임은 제1 화소의 현재 프레임이고, (m+1)번째 프레임은 제1 화소의 다음 프레임이며, 그리고

는 (m+1) 번째 프레임에서의 제1 화소의 화소값이다.

단계(B22)에서, 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 계조도 노이즈 방지값에 따라, 수평 방향 계조도 변화값을 산출하는 것은,

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 수평 방향 계조도 변화값을 산출하는 단계를 포함하며,

는 수평방향 계조도 변화값이며,

는 제1 화소의 계조도 노이즈 방지값이고,

이고,

는 제1 화소가 수평 방향에서 현재 프레임의 화소값

으로부터 위로 이동하는 후에 획득되는 화소값이며,

는 제1 화소가 수평 방향에서 현재 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이고,

는 제1 화소가 수평 방향에서 다음 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이며,

는 제1 화소가 수평 방향에서 다음 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이다.

단계(B23)에서, 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 계조도 노이즈 방지값에 따라, 수직 방향 계조도 변화값을 산출하는 것은,

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 수직 방향 계조도 변화값을 산출하는 단계를 포함하며,

는 수직방향 계조도 변화값이고,

는 제1 화소의 계조도 노이즈 방지값이며,

이고,

는 제1 화소가 수직 방향에서 현재 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이고,

는 제1 화소가 수직 방향에서 현재 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이며,

는 제1 화소가 수직 방향에서 다음 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이고,

는 제1 화소가 수직 방향에서 다음 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이다.

단계(B24)에서, 휘도 변화값과 수평방향 계조도 변화값과 수직방향 계조도 변화값에 따라, 제1 화소의 화소 유사성 매칭값을 산출하는 것은,

다음의 방식:

으로 제1 화소의 화소 유사성 매칭값을 산출하는 단계를 포함하며,

는 제1 화소의 화소 유사성 매칭값이고,

는 휘도 변화값이며,

는 수평방향 계조도 변화값이고,

는 수직방향 계조도 변화값이다.

103: 현재 프레임에서 다음 프레임으로 변화하는 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황에 따라, 제1 화소가 이동 영역에 있는지 또는 정지 영역(still area)에 있는지를 결정하며, 제1 화소가 이동 영역에 있으면 단계(104) 및 단계(105)의 실행을 트리거시키고, 제1 화소가 정지 영역에 있으면 단계(106) 및 단계(107)의 실행을 트리거시킨다. 본 발명의 본 실시 예에서, 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 트랜짓(transit)하는 경우, 이동 추정 인접 지역의 모든 화소가 이동하는지가 검출된 후에, 이동 추정 인접 지역의 다수 화소들이 정지 영역의 화소 및 이동 영역의 화소로 분류된다. 그러므로 현재 프레임에서 다음 프레임으로 변화하는 이동 추정 인접 지역의 모든 화소의 화소 위치 변경 상황은, 이동 추정 인접 지역의 다수 화소들이 정지 영역에 있는지 또는 이동 영역에 있는지를 결정하기 위하여, 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 트랜짓하는 경우, 이동 추정 인접 지역의 다수 화소가 이동하는지를 나타낸다.

본 발명의 일부 실시 예에서, 단계(103)에서, 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 변화하는 이동 추정 인접 지역의 모든 화소의 화소 위치 변경 상황에 따라, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지를 결정하는 것은, 구체적으로 다음의 단계들을 포함할 수 있다.

C1: 이동 추정 인접 지역의 현재 프레임에서의 모든 화소의 화소 위치와 이동 추정 인접 지역의 다음 프레임에서의 모든 화소의 화소 위치에 따라, 이동 추정 인접 지역에서의 정지 영역의 화소들을 카운팅한다.

C2: 이동 추정 인접 지역에서의 정지 영역의 화소들의 수량과 이동/정지를 결정하기 위한 미리 설정된 문턱값을 비교하고; 이동 추정 인접 지역에서의 정지 영역의 화소들의 수량이 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 크거나 같으면, 단계(C3)를 수행하고; 이동 추정 인접 지역에서의 정지 영역의 화소들의 수량이 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 작으면, 단계(C4)를 수행한다.

C3: 이동 추정 인접 지역에서의 정지 영역의 화소들의 수량이 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 크거나 같으면, 제1 화소가 정지 영역에 있는 것으로 결정한다.

C4: 이동 추정 인접 지역에서의 정지 영역의 화소들의 수량이 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 작으면, 제1 화소가 이동 영역에 있는 것으로 결정한다.

제1 화소의 이동 추정 인접 지역에 대하여, 이동 추정 인접 지역에서의 정지 영역의 화소들의 수량이 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 크거나 같으면, 제1 화소가 정지 영역에 있는 것으로 간주하거나; 또는 이동 추정 인접 지역에서의 정지 영역의 화소들의 수량이 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 같으면, 제1 화소가 이동 영역에 있는 것으로 간주한다. 제1 화소의 이동/정지 상황을 결정하기 위하여 이동 추정 인접 지역을 사용하는 본 방식은, 광학적 플로우 방법에서 이동 추정의 노이즈 방지 능력(anti-noise capability)을 향상시킬 수 있다.

본 발명의 본 실시 예에서, 이동/정지를 결정하기 위한 미리 설정된 문턱값은 고정값일 수 있으며, 또는 이동 추정 인접 지역의 크기에 따라 조정되는 값일 수 있으며, 또는 화소가 속하는 섹션의 노이즈 레벨에 따라 조정되는 값일 수 있음을 주목해야 한다. 이동/정지를 결정하기 위한 문턱값은 실제 애플리케이션 시나리오에 따라 구체적으로 설정될 수 있으며, 여기서는 상세한 설명을 생략한다.

104: 제1 화소가 이동 영역에 있으면, 제1 화소의 제1 프레임 차이와 미리 설정된 제1 프레임 차이 문턱값에 따라 제1 혼합 계수를 선택하며, 단계(105)의 실행을 트리거시킨다.

제1 화소의 제1 프레임 차이(FD, Frame Difference)는 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 이동 보상(compensation) 화소값 사이의 차이이다. 본 발명의 본 실시 예에서, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지에 따라, 정지 영역 및 이동 영역에 적용 가능한 상이한 프레임 차이 산출 방식들이 사용된다.

본 발명의 본 실시 예에서, 단계(102)에서 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 것이 검출된 후에, 제1 화소가 이동 영역에 있으면, 현재 프레임에서의 제1 화소의 화소 위치와 이전 프레임에서의 제1 화소의 이동 보상 화소값에 따라, 제1 화소의 제1 프레임 차이가 산출될 수 있다.

본 발명의 본 실시 예에서, 화소가 정지 영역에 있는지 또는 이동 영역에 있는지에 따라 2개의 상이한 프레임 차이 문턱값들 미리 설정된다. 예를 들어, 제1 프레임 차이 문턱값이 이동 영역의 화소에 대하여 미리 설정되며, 제2 프레임 차이 문턱값이 정지 영역의 화소에 대하여 미리 설정되고, 제2 프레임 차이 문턱값이 제1 프레임 차이 문턱값보다 크다.

본 발명의 본 실시 예에서, 혼합 계수 alpha가 노이즈 감소 강도를 결정할 수 있으며, alpha∈[0,1]이고, 보다 큰 alpha는 보다 높은 노이즈 감소 강도를 나타내며, 보다 작은 alpha는 보다 낮은 노이즈 감소 강도를 나타낸다. 제1 화소가 이동 영역에 있는 경우, 제1 프레임 차이 문턱값이 선택되고 혼합 계수를 선택하기 위한 근거(basis)로 사용된다. 선택된 혼합 계수는 제1 혼합 계수인 것으로 가정한다.

본 발명의 일부 실시 예에서, 단계(104)에서 제1 화소의 제1 프레임 차이와 미리 설정된 제1 프레임 차이 문턱값에 따라 제1 혼합 계수를 선택하는 것은 다음의 단계들을 포함할 수 있다.

D1: 제1 화소의 제1 프레임 차이가 미리 설정된 제1 프레임 차이 문턱값보다 작은지를 결정하며, 제1 화소의 제1 프레임 차이가 미리 설정된 제1 프레임 차이 문턱값보다 작거나 같으면 단계(D2)를 수행하고, 제1 화소의 제1 프레임 차이가 미리 설정된 제1 프레임 차이 문턱값보다 크면 단계(D3)를 수행한다.

D2: 제1 화소의 제1 프레임 차이가 미리 설정된 제1 프레임 차이 문턱값보다 작거나 같으면, 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라 제1 혼합 계수를 선택한다.

D3: 제1 화소의 제1 프레임 차이가 미리 설정된 제1 프레임 차이 문턱값보다 크면, 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라 제1 프레임 차이 가중치 계수를 선택하고, 제1 프레임 차이 문턱값과 제1 화소의 제1 프레임 차이와 제1 프레임 차이 가중치 계수에 따라 제1 혼합 계수를 선택한다.

제1 화소의 제1 프레임 차이가 미리 설정된 제1 프레임 차이 문턱값보다 작거나 같으면, 노이즈 레벨 및 혼합 계수가 양의 상관관계에 있다. 노이즈 레벨과 혼합 계수 사이의 양의 상관관계는 그래픽 방식으로 시각적으로 제시될 수 있다. 노이즈 레벨과 혼합 계수 사이의 양의 상관관계의 개략도는 노이즈 환경에서의 노이즈 영상의 알려진 시뮬레이션 결과에 따라 설정될 수 있으며, 또는 특정 노이즈 환경에서의 다수의 노이즈 영상의 영상 변경 상황에 따라 경험적 값이 획득될 수 있으며, 노이즈 레벨과 혼합 계수 사이의 양의 상관관계의 개략도가 또한 경험적 값에 따라 설정될 수 있다. 도 3을 참조하면, 도 3은 본 발명의 본 실시 예에 따른 노이즈 레벨과 혼합 계수 사이의 양의 상관관계의 개략도이다. 노이즈 레벨과 혼합 계수 사이의 양의 상관관계의 개략도를 토대로, 혼합 계수는 시각적으로 획득될 수 있다. 도 3에서, 노이즈_레벨은 노이즈 레벨을 나타내고, alpha_in은 제1 혼합 계수의 값을 나타낸다. 단계(D1)에서, 제1 화소의 제1 프레임 차이가 FD이고 제1 프레임 차이 문턱값이 th1인 것으로 가정한다. FD ≤ th1인 경우, 노이즈 레벨과 혼합 계수 사이의 양의 상관관계에 따라, 제1 화소에 대하여 선택된 제1 혼합 계수가 alpha_in이다. 제1 화소가 속하는 제1 섹션의 상이한 노이즈 레벨들에 따라, 제1 혼합 계수가 상이한 값들을 가질 수 있다.

제1 화소의 제1 프레임 차이가 제1 프레임 차이 문턱값보다 큰 경우, 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라, 제1 프레임 차이 가중치 계수가 선택된다. 제1 프레임 차이 가중치 계수는 또한 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라 상이한 값들을 가질 수 있으며, 보다 높은 노이즈 레벨은 보다 큰 제1 프레임 차이 가중치 계수를 나타낸다. 단계(D3)에서 제1 프레임 차이 문턱값과 제1 화소의 제1 프레임 차이와 제1 프레임 차이 가중치 계수에 따라 제1 혼합 계수를 선택하는 것에 있어서, 제1 혼합 계수는 구체적으로 다음의 방식으로 획득될 수 있다.

단계(D1)에서, 제1 화소의 제1 프레임 차이가 FD이고 제1 프레임 차이 문턱값이 th1인 것으로 가정한다. FD > th1인 경우, 제1 프레임 차이 가중치 계수는 coff이다. 현재 노이즈 레벨에 따라 선택될 수 있는 가장 큰 혼합 계수는 alpha_in인 것으로 가정하며, alpha_in은 상수(constant)이며; 제1 혼합 계수는 alpha에 의해 표현될 수 있으며, coff에 의해 표현되는 물리적 의미는 alpha의 값들의 변화율(change rate)이다. 제1 혼합 계수는 다음의 방식:

으로 산출될 수 있다.

도 4를 참조하면 도 4는 본 발명의 본 실시 예에 따른 혼합 계수와 제1 프레임 차이 사이의 관계의 개략도이다. 수평축의 FD는 제1 프레임 차이를 나타내며, 수직축의 alpha는 혼합 계수를 나타낸다. FD ≤ th1인 경우, 제1 혼합 계수의 값은 alpha_in이다. FD > th1인 경우, 제1 혼합 계수는 alpha=alpha_in

coff×(FD-th1)이며, coff는 도면에 도시된 사선(oblique line)의 경사(slope)를 나타내며; 제1 화소가 속하는 제1 섹션의 상이한 노이즈 레벨들에 대하여, 제1 프레임 차이 가중치 계수 coff는 상이한 값들을 가질 수 있다. 도 4에서, coff의 몇 가지 가능한 값들은 상이한 사선의 점선(oblique dashed line)들을 사용하여 나타내어진다.

도 4에서 EXT는 문턱값 확장(a threshold extension)이며, th2=th1+EXT가 만족됨을 주목해야 한다. 프레임 차이 FD가 th2보다 큰 경우, 노이즈 감소가 수행되지 않으며 즉, alpha = 0이다.

105: 제1 혼합 계수와 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 이동 보상 화소값에 따라, 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출한다.

이동 보상 화소값은 현재 프레임에서의 제1 화소의 대응 위치의 화소값이며, 이전 프레임에서의 제1 화소의 노이즈 감소 화소를 토대로 이동 추정 및 이동 보상이 수행된 후에 획득된다.

본 발명의 본 실시 예에서, 제1 화소가 이동 영역에 있으면, 산출을 통하여 획득되는 이전 프레임에서의 제1 화소의 이동 보상 화소값이 혼합을 위해 선택되며, 제1 화소에 대응하는 제1 노이즈 감소 화소 값이, 선택된 제1 혼합 계수와 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 이동 보상 화소값에 따라, 산출된다.

본 발명의 일부 실시 예에서, 이전 프레임에서의 제1 화소의 이동 보상 화소값이 다음의 실시 예를 사용하여 획득될 수 있다. 도 5를 참조하면, 도 5는 광학적 플로우 방법의 매칭된 이동 추정과 보상을 토대로 하는 TNR 구현 프로세스의 개략도이다. 이동 추정은 영상 섹션을 하나의 단위(unit)로 사용하는 것에 의해 수행되며; 이동 추정의 결과에 따라 이동 보상이 노이즈 영상의 이전 프레임에 대해 수행된 후에 이동 보상된 프레임이 획득되며; 시간적 노이즈 감소(T-1)에 의해 출력되는 현재 프레임에 대한 이동 보상(T-1)과 (입력 노이즈 영상의 현재 프레임을 나타내는) 통과 신호(pass-through signal)가 입력되며; 프레임 차이 정보에 따라 혼합 계수가 결정되고; 그리고 노이즈 영상에 대한 노이즈 감소 처리를 완료하기 위하여, 선택된 혼합 계수와 이동 보상된 프레임을 참조하여, 노이즈 영상의 현재 프레임에 대하여 혼합이 수행된다.

본 발명의 일부 실시 예에서, 단계(105)에서, 제1 혼합 계수와 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 이동 보상 화소값에 따라, 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하는 것은, 구체적으로

다음의 방식:

으로 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하는 단계를 포함하고,

는 제1 화소에 대응하는 제1 노이즈 감소 화소값이며,

는 현재 프레임에서의 제1 화소에 대응하는 위치의 화소값이고, 이동 추정 및 이동 보상이 이전 프레임에서의 제1 화소의 노이즈 감소 화소를 토대로 수행된 다음에 획득되며,

는 제1 혼합 계수이고,

는 현재 프레임에서의 제1 화소의 화소값이다.

106: 제1 화소가 정지 영역에 있으면, 제1 화소의 제2 프레임 차이와 미리 설정된 프레임 차이 문턱값에 따라 제2 혼합 계수를 선택하고 단계(107)의 실행을 트리거시킨다.

제2 프레임 차이 문턱값은 제1 프레임 차이 문턱값보다 크다. 제2 프레임 차이는 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 노이즈 감소 화소값 사이의 차이이다.

본 발명의 본 실시 예에서, 화소가 정지 영역에 있는지 또는 이동 영역에 있는지에 따라, 2개의 상이한 프레임 차이 문턱값들이 미리 설정된다. 예를 들어, 제1 프레임 차이 문턱값이 이동 영역의 화소에 대하여 미리 설정되며, 제2 프레임 차이 문턱값이 정지 영역의 화소에 대하여 미리 설정되고, 제2 프레임 차이 문턱값은 제1 프레임 차이 문턱값보다 크다.

본 발명의 본 실시 예에서, 혼합 계수 alpha 는 노이즈 감소 강도를 결정할 수 있으며; alpha∈[0,1]이고, 보다 큰 alpha는 보다 높은 노이즈 감소 강도를 나타내며, 보다 작은 alpha는 보다 낮은 노이즈 감소 강도를 나타낸다. 제1 화소가 정지 영역에 있는 경우, 제2 프레임 차이 문턱값이 선택되고, 혼합 계수를 선택하기 위한 근거로서 사용된다. 선택된 혼합 계수가 제2 혼합 계수인 것으로 가정한다.

본 발명의 일부 실시 예에서, 단계(106)에서 제1 화소의 제2 프레임 차이와 미리 설정된 제2 프레임 차이 문턱값에 따라 제2 혼합 계수를 선택하는 것은 구체적으로 다음의 단계들을 포함할 수 있다.

E1: 제1 화소의 제2 프레임 차이가 미리 설정된 제2 프레임 차이 문턱값보다 작은지를 결정하며, 제1 화소의 제2 프레임 차이가 제2 프레임 차이 문턱값보다 작거나 같으면 단계(E2)를 수행하며, 제1 화소의 제2 프레임 차이가 제2 프레임 차이 문턱값보다 크면 단계(E3)를 수행한다.

E2: 제1 화소의 제2 프레임 차이가 제2 프레임 차이 문턱값보다 작거나 같으면, 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라 제2 혼합 계수를 선택한다.

E3: 제1 화소의 제2 프레임 차이가 제2 프레임 차이 문턱값보다 크면, 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라 제2 프레임 차이 가중치 계수를 선택하고, 제2 프레임 차이 문턱값과 제1 화소의 제2 프레임 차이와 제2 프레임 차이 가중치 계수에 따라 제2 혼합 계수를 선택한다.

제1 화소의 제2 프레임 차이가 제2 프레임 차이 문턱값보다 작거나 같은 경우, 노이즈 레벨과 혼합 계수는 양의 상관관계에 있다. 노이즈 레벨과 혼합 계수 사이의 양의 상관관계는 그래픽 방식으로 시각적으로 제시될 수 있다. 노이즈 레벨과 혼합 계수 사이의 양의 상관관계의 개략도는 노이즈 환경에서의 노이즈 영상의 알려진 시뮬레이션 결과에 따라 설정될 수 있으며; 또는 특정 노이즈 환경에서의 다수의 노이즈 영상의 영상 변경 상황에 따라 경험적 값이 획득될 수 있으며, 노이즈 레벨과 혼합 계수 사이의 양의 상관관계의 개략도가 또한 경험적 값에 따라 설정될 수 있다. 노이즈 레벨과 혼합 계수 사이의 양의 상관관계의 개략도는 전술한 도 3의 개략도와 유사하다. 차이점은 노이즈 레벨에 대응하는 alpha_in의 특정 값이 도 3에 도시된 값과 다르다는데 있으며; 그러나 노이즈 레벨과 혼합 계수 사이의 관계는 여전히 양의 비례적 관계이거나 또는 양의 비례적 경향 관계이다.

제1 화소의 제2 프레임 차이가 제2 프레임 차이 문턱값보다 큰 경우, 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라 제2 프레임 차이 가중치 계수가 선택된다. 제2 프레임 차이 가중치 계수는 또한 화소가 속하는 섹션의 상이한 노이즈 레벨들에 따라 상이한 값들을 가질 수 있으며, 보다 높은 노이즈 레벨은 보다 큰 제2 프레임 차이 가중치 계수를 나타낸다. 단계(E3)에서, 제2 프레임 차이 문턱값과 제1 화소의 제2 프레임 차이와 제2 프레임 차이 가중치 계수에 따라 제2 혼합 계수를 선택하는 데 있어서, 제2 혼합 계수는 구체적으로 다음의 방식으로 획득될 수 있다.

단계(E1)에서, 제1 화소의 제2 프레임 차이가 FD이고 제2 프레임 차이 문턱값이 th1′인 것으로 가정한다. FD > th1′인 경우, 제1 프레임 차이 가중치 계수는 coff′이다. 현재 노이즈 레벨에 따라 선택될 수 있는 가장 큰 혼합 계수는 alpha_in′인 것으로 가정하며, alpha_in′은 상수이며, 제2 혼합 계수는 alpha′에 의해 표현되며, coff′에 의해 표현되는 물리적 의미는 alpha'의 값들의 변화율이다. 제2 혼합 계수는 다음의 방식:

으로 산출될 수 있다.

도 6을 참조하면, 도 6은 본 발명의 본 실시 예에 따른 혼합 계수와 프레임 차이 사이의 다른 관계의 개략도이다. 수평축의 FD는 제2 프레임 차이를 나타내며, 수직축의 alpha′는 제2 혼합 계수를 나타낸다. FD ≤ th1′ 인 경우, 제2 혼합 계수의 값이 alpha_in′이다. FD > th1′인 경우, 제2 혼합 계수는 alpha′=alpha_in′-coff′×(FD-th1′)이며, coff′는 도면에 도시된 사선의 경사를 나타내며; 제1 화소가 속하는 제1 섹션의 상이한 노이즈 레벨들에 대하여, 제2 프레임 차이 가중치 계수 coff′는 상이한 값들을 가질 수 있다. 도 6에서, coff′의 몇 가지 가능한 값들은 상이한 사선의 점선들을 사용하여 나타내어진다.

도 6에서 EXT'는 문턱값 확장이며, th2′=th1′+ EXT′가 만족됨을 주목해야 한다. 프레임 차이 FD가 th2′보다 큰 경우, 노이즈 감소가 수행되지 않으며 즉, alpha′= 0이다. 도 4 및 도 6 사이의 차이점은 th1과 EXT와 coff의 값들이 th1′과 EXT'와 coff′의 값들과 다르다는데 있다.

본 발명의 본 실시 예에서, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지에 따라, 상이한 프레임 차이 산출 방식들이 제1 화소에 대하여 사용된다. 제1 화소가 이동 영역에 있는 경우, 제1 화소의 프레임 차이가 이동 추정 방식으로 산출되며 즉, 제1 프레임 차이가 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 이동 보상 화소값 사이의 차이이다. 제1 화소가 정지 영역에 있는 경우, 제2 프레임 차이가 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 노이즈 감소 화소값 사이의 차이이다. 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 산출 방식들이 사용되기 때문에, 제1 화소의 프레임 차이가 더 정확하게 산출될 수 있다. 이러한 프레임 차이 산출 방식들이 다수의 노이즈 시나리오에 적용될 수 있다.

107: 제2 혼합 계수와 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 노이즈 감소 화소값에 따라, 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출한다.

노이즈 감소 화소값은 이전 프레임에서의 제1 화소의 노이즈 감소 화소의 대응 위치의 화소값이다.

본 발명의 본 실시 예에서, 제1 화소가 정지 영역에 있으면, 산출을 통하여 획득되는 이전 프레임에서의 제1 화소의 노이즈 감소 화소값이 혼합을 위해 선택되며, 선택된 제2 혼합 계수와 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 노이즈 감소 화소값에 따라, 제1 화소에 대응하는 제2 노이즈 감소 화소값이 산출된다.

본 발명의 일부 실시 예에서, 이전 프레임에서의 제1 화소의 노이즈 감소 화소값은 다음의 실시 예를 사용하여 획득될 수 있다. 도 7을 참조하면, 도 7은 정지 영역이 광학적 플로우 방법을 토대로 결정되는 경우의 TNR의 구현 프로세스의 개략도이다. 정지 영역이 광학적 플로우 방법을 토대로 결정되는 경우에 TNR에서, 시간적 노이즈 감소에 의해 출력되는 (T-1)과 (입력 노이즈 영상의 현재 프레임을 나타내는) 통과 신호가 입력되며; 프레임 차이 정보에 따라 혼합 계수가 결정되고; 그리고 노이즈 영상에 대한 노이즈 감소 처리를 완료하기 위하여, 선택된 혼합 계수와 노이즈 영상의 이전 프레임을 참조하여, 노이즈 영상의 현재 프레임에 대하여 혼합이 수행된다.

본 발명의 일부 실시 예에서, 단계(107)에서, 제2 혼합 계수와 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 노이즈 감소 화소값에 따라, 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하는 것은 구체적으로

다음의 방식:

으로 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하는 단계를 포함하며,

는 제1 화소에 대응하는 제2 노이즈 감소 화소값이며,

는 이전 프레임에서의 제1 화소의 노이즈 감소 화소의 대응 위치의 화소값이고,

는 제2 혼합 계수이며,

는 현재 프레임에서의 제1 화소의 화소값이다.

본 발명의 본 실시 예에서, 노이즈 영상은 다수의 섹션들로 분할되고; 먼저, 제1 섹션의 양자화 노이즈가 획득되며; 그리고 화소들이 개별적으로 현재 프레임의 화소 위치에서 다음 프레임으로 이동한 후에, 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역의 제1 섹션에서의 모든 화소의 화소 위치들이 검출되고; 다음에, 현재 프레임에서 다음 프레임으로 변화하는 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황에 따라, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지가 결정되며; 다음에, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지의 결정에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들이 개별적으로 설정되며, 그리고 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 산출 방식들과 이전 프레임 화소값 산출 방식들이 사용되고; 최종적으로, 혼합 계수와 이전 프레임의 화소값과 현재 프레임에서의 제1 화소의 화소값에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 노이즈 감소 혼합 방식들이 선택되며, 혼합 계수는 제1 화소의 이동 추정 결과에 따라 선택된다. 본 발명의 본 실시 예에서, 정지/이동은 제1 화소가 속하는 제1섹션의 양자화 노이즈를 참조하여 결정될 수 있으며, 그러므로 부정확한 결정의 확률이 매우 낮으며; 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지를 결정하는 것의 상이한 결과에 대하여, 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들이 개별적으로 설정되고, 상이한 프레임 차이 산출 방식들이 사용되며; 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들과 프레임 차이 산출 방식들에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 혼합 계수들이 선택되고; 이동 영역 및 정지 영역에 적용 가능한 상이한 혼합 계수들과 프레임 차이 산출 방식들과 현재 프레임에서의 제1 화소의 화소값에 따라, 노이즈 감소 혼합 방식이 선택된다. 이러한 방식으로, 노이즈 영상이 이동 영역에 있는지 또는 정지 영역에 있는지에 따라 노이즈 감소 처리가 구현될 수 있으며, 검출 에러의 확률이 매우 낮다. 그러므로 본 발명의 이러한 실시 예들의 기술적 솔루션은 다수의 노이즈 시나리오에 적용될 수 있다.

본 발명의 실시 예에서 전술한 솔루션들의 이해와 구현을 위하여, 대응하는 애플리케이션 시나리오들을 예로 사용하여 하기에서 구체적인 설명이 제공된다.

본 발명의 실시 예에서 제공되는 노이즈 영상에 대한 시간적 노이즈 감소 방법은 노이즈 검출의 광학적 플로우 방법의 이동 추정 및 보상을 토대로 하는 TNR 방법이다.

본 방법은 주로 노이즈 검출의 노이즈 평가 아이디어(noise rating idea)를 토대로 한다. 본 방법에서, 광학적 플로우 방법의 이동 추정 및 보상을 토대로 하는 노이즈 방지 능력은 노이즈 평가에 의해서 향상되며, 노이즈 평가 및 프레임 차이 정보에 따라, 혼합 노이즈 감소가 자기 적응 방식(self-adaptive manner)으로 수행된다.

도 8을 참조하면, 도 8은 본 발명의 실시 예에 다른 노이즈 영상에 대한 시간적 노이즈 감소 방법의 전체적인 프로세스들의 개략도이다. 주요 구현 아이디어는 다음의 4개의 주요 파트(part)들을 포함한다.

(1) 영상을 섹션들로 분할하고 획득된 섹션들의 양자화 노이즈를 노이즈 검출을 통하여 평가하기

(2) 결정된 화소가 위치되는 섹션의 노이즈 레벨 정보를 사용하여, 광학적 플로우 방법의 이동 추정 및 보상을 토대로 하는 노이즈 방지 메커니즘을 구현하기

(3) 이동 추정 정보 및 프레임 차이 정보를 사용하여 노이즈 감소 혼합 방식을 선택하기; 그리고

(4) 노이즈 정보 및 프레임 차이 정보를 사용하여 혼합 계수를 조정하기

다음에 예들을 사용하여 각 파트를 설명한다.

(1) 노이즈 영상에 대한 노이즈 검출을 수행하기

도 9를 참조하면 도 9는 본 발명의 실시 예에 따른 노이즈 영상을 섹션들로 분할하는 개략도이다. 먼저, 노이즈 영상은 다수의 섹션들로 분할된다. 노이즈 영상은 오른쪽에서 왼쪽으로의 화살표에 의해 지시된 바와 같이, n×m 섹션들로 분할된다. 도면의 예에서, 노이즈 영상은 2×2=4의 섹션들로 분할된다. 도 9에 도시된 바와 같이, 노이즈 영상의 현재 프레임이 제1 섹션, 제2 섹션, 제3 섹션 그리고 제4 섹션인 4개의 섹션들로 분할된다. 그리고 각 섹션은 추가로 다수의 블록들로 분할되며, 각 블록은 또한 도트(dot) 매트릭스로 명명된다. 즉, 각 섹션은 블록으로 명명되는, 선택된 크기(예를 들어, 5×5)의 복수의 도트 매트릭스들을 포함한다. 블록의 각 화소에 대하여, 예를 들어, 제1 섹션의 제1 화소에 대하여, 제1 화소의 노이즈 추정 인접 지역의 다수 화소들의 화소값들을 이용하여, 노이즈 값들의 양자화가 수행된다. 노이즈 추정 인접 지역은 하나의 3×3 도트 매트릭스를 포함한다. 노이즈 추정 인접 지역은 NH9(x,y)로 표현될 수 있다.

제1 화소의 양자화 노이즈는 다음의 방식:

으로 산출되며,

(x,y)는 현재 프레임에서 제1 화소의 화소 위치이며, pixel_noise(x,y)는 제1 화소의 양자화 노이즈이고, value_i는 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 노이즈 추정 인접 지역이며, 그리고 value_median는 NH(x,y)의 모든 화소의 중간값 또는 평균값이다.

NH(x,y)가 구체적으로 3×3 인접 지역인 경우, 인접 지역은 NH9(x,y)로 표현될 수 있으며, value_i는 구체적으로 NH9(x,y)의 화소 휘도값을 나타낼 수 있음을 ㅈ주목해야 한다. 또한, value_median은 총 9개의 화소들을 가지는 3×3 도트 매트릭스에서의 9개의 화소들의 휘도 값들을 차례대로 배열(sequence)하여 획득되는 중간 휘도값을 나타내거나, 또는 9개의 화소들의 휘도값들을 평균화하여 획득되는 휘도값을 나타낸다

다음에, 제1 블록의 제1 화소가 편평한 영역에 있는지가 결정된다.

먼저, 제1 화소가 에지 영역에 있는지가 체크(check)된다.

제1 화소의 에지 추정값이 다음의 방식:

으로 산출되며,

(x,y)는 현재 프레임에서의 제1 화소의 화소 위치이며, EM(x,y)는 제1 화소의 에지 추정값이고, NH(x,y)는 노이즈 추정 인접 지역이며, E_h, E_v, E_p45, 및 E_n45는 소벨 에지 컨볼루션 커널이고, 그리고 *는 컨볼루션 심볼이다.

E_h, E_v, E_p45, 및 E_n45는 소벨 에지 컨볼루션 커널의 값들이다. 도 10에 도시된 소벨 에지 컨볼루션 커널의 값들의 개략도를 참조할 수 있다.

에지 영역 문턱값 EGth이 설정된다. EM(x,y)이 에지 영역 문턱값보다 크면, 제1 화소가 에지 영역에 있는 것으로 결정되며; EM(x,y)이 에지 영역 문턱갓보다 작거나 같으면 제1 화소가 에지 영역에 있지 않은 것으로 결정된다.

다음에, 제1 화소가 텍스쳐 영역에 있는지가 체크된다.

제1 화소의 텍스쳐 추정값이 다음의 방식:

,

으로 산출되며,

(x,y)는 현재 프레임에서의 제1 화소의 화소 위치이며, Noise_Max_Min(x,y)는 제1 화소의 텍스쳐 추정값이고, value_i는 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 노이즈 추정 인접 지역이고, 그리고 value_medium는 NH(x,y)의 모든 화소의 화소값들의 중간값 또는 평균값이다.

텍스쳐 영역 문턱값 MNth이 설정된다. Noise_Max_Min(x,y)이 텍스쳐 영역 문턱값보다 크면, 제1 화소가 텍스쳐 영역에 있는 것으로 결정되며; Noise_Max_Min(x,y)이 텍스쳐 영역 문턱값보다 작거나 같으면, 제1 화소가 텍스쳐 영역에 있지 않은 것으로 결정된다.

편평한 영역은, 결정된 제1 화소가 에지 영역 또는 텍스쳐 영역에 있지 않은 것을 요구한다. 즉, 다음의 방식:

으로 제1 화소가, 제1 화소가 에지 영역에 있지 않은 조건과 제1 화소가 텍스쳐 영역에 있지 않은 조건을 모두 만족하는지가 결정될 수 있으며, EM(x,y)는 제1 화소의 에지 추정값이며, EGth는 에지 영역 문턱값이고, Noise_Max_Min(x,y)는 제1 화소의 텍스쳐 추정값이며, 그리고 MHth는 텍스쳐 영역 문턱값이다.

제1 화소가 평평한 영역에 있는지 또는 에지 영역에 있는지 또는 텍스쳐 영역에 있는지가 결정된 다음에, 동일한 방식으로 제1 화소가 속하는 제1 블록의 다른 화소들이 평평한 영역에 있는지 또는 에지 영역에 있는지 또는 텍스쳐 영역에 있는지가 결정된다.

다음에, 편평한 영역에 있는 제1 블록의 모든 화소들의 양자화 노이즈가 획득되며, 제1 블록의 양자화 노이즈의 값이, 편평한 영역에 있는 제1 블록의 모든 화소들의 양자화 노이즈의 최소값이거나 또는 편평한 영역의 모든 화소의 양자화 노이즈들의 평균값이다.

제1 섹션의 모든 블록들의 양자화 노이즈가 제1 블록의 양자화 노이즈를 산출하는 방식으로 산출되며, 그리고 제1 섹션의 모든 블록(편평한 영역에 있지 않은 블록들은 제외함)의 평균값이 제1 섹션의 양자화 노이즈로 선택되거나; 또는 제1 섹션에서 모든 블록의 양자화 노이즈들을 하나씩 누적하고 누적 히스토그램에서 미리 설정된 노이즈 문턱값보다 큰 양자화 노이즈가 제1 섹션의 양자화 노이즈로 사용된다.

누적 히스토그램을 사용하여 제1 섹션의 양자화 노이즈를 산출하는 것을 구체적으로 설명하기 위하여, 도 11a 및 도 11b를 참조하며, 도 11a는 본 발명의 실시 예에 따른 노이즈 영상의 섹션들의 양자화 노이즈 값들의 누적 히스토그램이다. 도 11b는 누적 히스토그램의 예시의 개략도이다. 누적 히스토그램은 누적 방식에서 현재 노이즈 레벨보다 작거나 같은 노이즈 레벨들을 가지는 모든 유효(effective) 블록들의 수량을 나타낸다.

도 11a에서, 수평축은 노이즈 레벨들을 나타내며, 섹션의 양자화 노이즈는 lv1, lv2, lv3, lv4, lv5, 및 lv6의 6개의 레벨들로 분류되며, 수직축은 누적된 유효 블록들의 수량들을 나타낸다. 도 11b에 대하여, 수평 라인을 가지는 바(bar)는 lv1에서의 블록들의 수량을 나타내며, 수직 라인을 가지는 바는 lv2에서의 블록들의 수량을 나타내며, 사선(oblique line)을 가지는 바는 lv3에서의 블록들의 수량을 나타낸다. 누적 히스토그램은 현재 노이즈 레벨보다 작거나 같은 노이즈 레벨들을 가지는 모든 유효 블록들의 누적된 수량이다. 전체적으로 6개의 레벨들이 있는 것으로 가정한다. lv6의 높이는 모든 유효 블록들의 수량을 표시한다.

백분율(percentage) 문턱값 a가 설정된다. a = 50%인 것으로 가정한다. 도 11b에 도시된 바와 같이, 누적 히스토그램에서 먼저 i가 획득되며, 노이즈 레벨에 따른 영역이 i > total area × a이면, 섹션의 노이즈 값이 노이즈 값 i인 것으로 간주될 수 있다. 도 11b에서, 백분율 문턱값을 만족하는 제1 노이즈 레벨은 lv3이다.

제1 섹션의 양자화 노이즈가 획득된 후에, 노이즈 영상의 모든 N개의 섹션들의 양자화 노이즈가 또한 동일한 방식으로 획득될 수 있으며, N개의 섹션들의 양자화 노이즈가 N개의 미리 설정된 양자화 문턱값들과 비교되며, N개의 섹션의 양자화 노이즈가 (N+1)개의 노이즈 레벨로 분류된다.

(2) 광학적 플로우 방법의 이동 추정 및 보상을 토대로 하는 노이즈 방지 메커니즘

도 12는 화소가 현재 프레임에서 다음 프레임으로 이동하는 경우의 위치 변화의 개략도이다. 노이즈 없이 영상의 m번째 프레임이 도 12의 오른쪽 부분에 도시된 위치(x, y)에 위치되어 있는 것으로 가정하며, m번째 프레임이 점선으로 표시된 방향을 따라, (x, y)위치에서 (m+1)번째의 프레임의 위치 (x+i,y+j)로 이동하는 것으로 가정한다. 화소 유사성 매칭값을 다음의 수식(formula):

으로 산출하며,

이고,

이며, 그리고

이다.

노이즈 영상에서 화소 유사성 매칭값이 노이즈에 의해 영향을 받을 수 있으며, 그러므로 이동 검출 왜곡(distortion)이 발생됨을 주목해야 한다. 제1 화소의 화소 유사성 매칭값의 산출은 여전히 설명을 위한 하나의 예로 사용된다. 다른 화소들의 화소 유사성 매칭값들을 산출하기 위한 방법에 대하여, 제1 화소에 대한 산출 방식이 참조된다. (x,y)는 현재 프레임에서의 제1 화소의 화소 위치이다. 다음의 노이즈 방지 메커니즘이 본 발명의 본 실시 예에서 사용될 수 있다.

제1 화소의 화소 유사성 매칭값이 다음의 방식:

으로 산출되며,

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

는 휘도 변화값이고,

는 제1 화소의 휘도 노이즈 방지값이며,

이고, (x,y)는 현재 프레임에서의 제1 화소의 화소 위치이고,

는 m번째 프레임에서의 제1 화소의 화소값이며, m번째 프레임은 제1 화소의 현재 프레임이고, (m+1)번째 프레임은 제1 화소의 다음 프레임이며, 그리고

는 (m+1) 번째 프레임에서의 제1 화소의 화소값이다.

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 수평 방향 계조도 변화값이 산출되며,

는 수평방향 계조도 변화값이며,

는 제1 화소의 계조도 노이즈 방지값이고,

이고,

는 제1 화소가 수평 방향에서 현재 프레임의 화소값

으로부터 위로 이동하는 후에 획득되는 화소값이며,

는 제1 화소가 수평 방향에서 현재 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이고,

는 제1 화소가 수평 방향에서 다음 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이며,

는 제1 화소가 수평 방향에서 다음 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이다.

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 수직 방향 계조도 변화값이 산출되며,

는 수직방향 계조도 변화값이고,

는 제1 화소의 계조도 노이즈 방지값이며,

이고,

는 제1 화소가 수직 방향에서 현재 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이고,

는 제1 화소가 수직 방향에서 현재 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이며,

는 제1 화소가 수직 방향에서 다음 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이고,

는 제1 화소가 수직 방향에서 다음 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이다.

본 발명의 본 실시 예에서, 제1 섹션의 노이즈 레벨이 추출된 후에, 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계에 따라, 제1 화소의 휘도 노이즈 방지값

이 획득될 수 있으며, 노이즈 레벨과 계조도 노이즈 방지값 사이의 양의 상관관계에 따라 제1 화소의 계조도 노이즈 방지값

이 획득될 수 있다. 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계에 대하여, 도 2에 도시된 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계의 개략도가 참조될 수 있다. 노이즈 레벨과 계조도 노이즈 방지값 사이의 양의 상관관계는, 도 2와 유사하고 양의 비례적 관계 또는 양의 비례적 경향 관계를 설명하는데 사용되는 개략도를 토대로 할 수 있다.

(3) 이동 추정 정보와 프레임 차이 정보를 이용하여 노이즈 감소 혼합 방식을 선택하기

본 발명의 실시 예에 따라 이동 추정 인접 지역의 구현 방식의 개략도인 도13에 도시된 바와 같이, 결정된 제1 하소를 중심으로 하는 1xn 인접 화소들이 이동 추정 인접 지역을 형성한다. 도 13에서, 1×5 화소들로 형성된 이동 추정 인접 지역이 하나의 예로 사용된다. 정지 영역 즉, still_cnt 의 화소들의 수량이 카운트되며; 이동 추정 인접 지역의 정지 영역의 화소슬의 수량이 이동/정지를 결정하기 위한 미리 설정된 문턱값 즉, still_th와 비교된다. 인접 지역이 다음의 수식을 만족하면, 결정된 제1 화소가 정지 영역에 있는 것으로 간주되고, 인접 지역이 다음의 수식을 만족하지 않으면 결정된 제1 화소가 이동 영역에 있는 것으로 간주된다.

의 수식에서,

still_th는 1×n 화소들로 형성된 인접 지역에 대한 이동/정지를 결정하기 위한 문턱값이며, still_th 은 고정된 값으로 설정될 수 있거나 또는 인접 지역의 크기 및 노이즈 레벨에 따라 조정될 수 있으며, 노이즈 레벨이 낮은 경우, still_th는 더 큰 값으로 설정되고, 노이즈 레벨이 높은 경우, still_th는 더 작은 값으로 설정된다. 1xn 화소들로 형성되는 인접 지역을 결정하는 목적은 광학적 플로우 방법의 이동 추정의 노이즈 방지 능력을 향상시키기 위한 것이다.

본 발명의 본 실시 예의 노이즈 방지 능력을 향상시키기 위하여, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지에 따라, 상이한 프레임 차이 문턱값들이 개별적으로 산출되어야 하며, 대응하는 혼합 계수가 선택되어야 하고, 노이즈 감소 처리를 수행하기 위하여 상이한 혼합 방법들이 선택되어야 한다.

다음에는 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지의 결정 결과에 따라, 프레임 차이 문턱값의 조정(adjustment)을 설명한다.

제1 화소가 정지 영역에 있는 경우, 대응하는 프레임 차이가 단지 노이즈에 의해 간섭받으며; 제1 화소가 이동 영역에 있는 경우 노이즈에 의해 간섭받는 것 이외에, 대응하는 프레임 차이가 또한 이동 관련 이동 추정 및 보상에 의해 간섭을 받는다. 그러므로 혼합 계수 alph를 선택하는데 있어서, 제1 화소가 정지 영역에 있는 경우에 사용되는 프레임 차이 문턱값이, 제1 화소가 이동 영역에 있는 경우 사용되는 프레임 차이 문턱값보다 클 수 있다. 제1 화소가 이동 영역에 있으면 제1 프레임 차이 문턱값이 설정되며; 제1 화소가 정지 영역에 있으면 제2 프레임 차이 문턱값이 설정된다. 또한, 제2 프레임 차이 문턱값이 제1 프레임 차이 문턱값보다 크다.

다음에는 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지의 결정 결과에 따라 선택되는 노이즈 감소 혼합 방식을 설명한다.

도 14a 및 도 14b를 참조하면, 도 14a는 본 발명의 실시 예에 따른 제1 화소가 이동 영역에 있는 노이즈 영상의 개략도이며, 도 14b는 본 발명의 실시 예에 따른 제1 화소가 정지 영역에 있는 노이즈 영상의 개략도이다. 도 14a 및 도 14b에서, 왼쪽 부분은 노이즈 영상의 현재 프레임 프레임 입력(T)이며, 중간 부분은 TNR이 이전 프레임에 대해 수행된 후에 획득되는 영상 TNR 출력(T-1)이고, 오른쪽 부분은 TNR 및 이동 보상이 이전 프레임에 대해 수행된 후에 획득되는 영상 프레임 MC(T)이다. 도 14a에 대하여, 제1 화소가 이동 영역에 있는 것으로 간주될 수 있으며, 그러므로 제1 화소에 대응하는 제1 화소 노이즈 감소 화소값을 획득하기 위하여, 노이즈 영상의 현재 프레임과, TNR과 이동 보상이 수행된 영상의 이전 프레임에 대해 노이즈 감소 혼합이 수행된다. 도 14b에 대하여, 제1 화소가 정지 영역에 있는 것으로 간주될 수 있으며, 그러므로 제1 화소에 대응하는 제2 화소 노이즈 감소 화소값을 획득하기 위하여, 노이즈 영상의 현재 프레임과, TNR이 수행된 영상의 이전 프레임에 대해 노이즈 감소 혼합이 수행된다. 제1 화소 노이즈 감소 화소값과 제2 화소 노이즈 감소 화소값의 조정에 대하여, 전술한 실시 예에서 기술된 수식들이 참조될 수 있으며, 여기서는 상세한 설명을 생략한다.

(4) 노이즈 정보 및 프레임 차이 정보를 이용하여 혼합 계수를 조정하기

제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지의 결정 결과에 따라, 노이즈 레벨 정보와 화소의프레임 차이 정보를 참조하여 상이한 혼합 계수들이 개별적으로 설정되며, 제1 혼합 계수 및 제2 혼합 계수가 개별적으로 설정된다. 혼합 계수를 설정하는 구체적인 방식에 대하여, 전술한 실시 예들의 단계(D1) 내지 단계(D3) 또는 단계(E1) 내지 단계(E3)의 설명들이 참조되며, 제1 혼합 계수 및 제2 혼합 계수가 도 3에 도시된 노이즈 레벨과 혼합 계수 사이의 양의 상관관계의 개략도를 참조하여 시각적으로 획득될 수 있다.

전술한 실시 예들로부터, 노이즈 영상이 다수의 섹션들로 분할되고; 먼저, 제1 섹션의 양자화 노이즈가 획득되며; 그리고 화소들이 개별적으로 현재 프레임의 화소 위치에서 다음 프레임으로 이동한 후에, 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역의 제1 섹션에서의 모든 화소의 화소 위치들이 검출되고; 다음에, 현재 프레임에서 다음 프레임으로 변화하는 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황에 따라, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지가 결정되며; 다음에, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지의 결정에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들이 개별적으로 설정되며, 그리고 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 산출 방식들과 이전 프레임 화소값 산출 방식들이 사용되고; 최종적으로, 혼합 계수와 이전 프레임의 화소값과 현재 프레임에서의 제1 화소의 화소값에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 노이즈 감소 혼합 방식들이 선택되며, 혼합 계수는 제1 화소의 이동 추정 결과에 따라 선택됨을 전술한 실시 예들로부터 알 수 있다. 본 발명의 본 실시 예에서, 정지/이동은 제1 화소가 속하는 제1섹션의 양자화 노이즈를 참조하여 결정될 수 있으며, 그러므로 부정확한 결정의 확률이 매우 낮으며; 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지를 결정하는 것의 상이한 결과에 대하여, 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들이 개별적으로 설정되고, 상이한 프레임 차이 산출 방식들이 사용되며; 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들과 프레임 차이 산출 방식들에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 혼합 계수들이 선택되고; 이동 영역 및 정지 영역에 적용 가능한 상이한 혼합 계수들과 프레임 차이 산출 방식들과 현재 프레임에서의 제1 화소의 화소값에 따라, 노이즈 감소 혼합 방식이 선택된다. 이러한 방식으로, 노이즈 영상이 이동 영역에 있는지 또는 정지 영역에 있는지에 따라 노이즈 감소 처리가 구현될 수 있으며, 검출 에러의 확률이 매우 낮다. 그러므로 본 발명의 이러한 실시 예들의 기술적 솔루션은 다수의 노이즈 시나리오에 적용될 수 있다.

간략한 설명을 위하여, 전술한 방법 실시 예들이 일련의 동작들(action)로 표현됨을 주목해야 한다. 그러나 본 발명에 따라, 일부 단계들이 다른 순서 또는 동시에 수행될 수 있기 때문에, 당업자는 본 발명이 동작들의 기술된 순서에 한정되지 않음을 인정해야 한다. 또한, 당업자는 또는 본 명세서에 기술된 모든 실시 예들이 예시적인 실시 예들에 속하며, 관련된 동작 및 모듈들(involved actions and modules)이 본 발명에 대해 반드시 정해진 것은 아님을 이해해야 한다.

본 발명의 실시 예에서 전술한 솔루션의 더 나은 구현을 위하여, 다음에 전술한 솔루션들을 구현하는 데 사용되는 관련 장치를 제공한다.

도 15a를 참조하면 본 발명의 실시 예에 따른 노이즈 영상에 대한 시간적 노이즈 감소 장치(1500)는 노이즈 획득 모듈(1501), 이동 추정 모듈(1502), 이동/정지 결정 모듈(1503), 제1 혼합 계수 선택 모듈(1504), 제1 시간적 노이즈 감소 모듈(1505), 제2 혼합 계수 선택 모듈(1506) 및 제2 시간적 노이즈 감소 모듈(1507)을 포함할 수 있다.

노이즈 획득 모듈(1501)은 노이즈 영상의 제1 섹션의 양자화 노이즈를 획득하도록 구성되며, 제1 섹션은 노이즈 영상으로부터 분할된 다수 섹션들 중의 하나이다.

이동 추정 모듈(1502)은 화소가 현재 프레임의 화소 위치에서 다음 프레임으로 이동한 후에, 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역에서의 모든 화소들의 화소 위치를 검출하도록 구성되며, 이동 추정 인접 지역은 제1 화소를 중심으로 하는 인접 화소들을 포함하며, 제1 화소는 제1 섹션에서의 임의 화소이다.

이동/정지 결정 모듈(1503)은, 현재 프레임에서 다음 프레임으로 변화하는 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황에 따라, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지를 결정하고, 제1 화소가 이동 영역에 있으면 제1 혼합 계수 선택 모듈(1504)과 제1 시간적 노이즈 감소 모듈(1505)의 실행을 트리거시키거나, 또는 제1 화소가 정지 영역에 있으면 제2 혼합 계수 선택 모듈(1506)과 제2 시간적 노이즈 감소 모듈(1507)의 실행을 트리거시키도록 구성된다.

제1 혼합 계수 선택 모듈(1504)은 제1 화소가 이동 영역에 있는 경우에, 제1 화소의 제1 프레임 차이와 미리 설정된 제1 프레임 차이 문턱값에 따라, 제1 혼합 계수를 선택하도록 구성되고, 제1 프레임 차이는 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 이동 보상 화소값 사이의 차이이다.

제1 시간적 노이즈 감소 모듈(1505)은, 제1 혼합 계수와 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 이동 보상 화소값에 따라, 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하도록 구성되고, 이동 보상 화소값은 현재 프레임에서의 제1 화소의 대응 위치의 화소값이며, 이전 프레임에서의 제1 화소의 노이즈 감소 화소를 토대로 이동 추정 및 이동 보상이 수행된 후에 획득된다.

제2 혼합 계수 선택 모듈(1506)은 제1 화소가 정지 영역에 있는 경우에, 제1 화소의 제2 프레임 차이와 미리 설정된 제2 프레임 차이 문턱값에 따라 제2 혼합 계수를 선택하도록 구성되고, 제2 프레임 차이 문턱값은 제1 프레임 차이 문턱값보다 크고, 제2 프레임 차이는 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 노이즈 감소 화소값 사이의 차이이다.

제2 시간적 노이즈 감소 모듈(1507)은, 제2 혼합 계수와 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 노이즈 감소 화소값에 따라, 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하도록 구성되고, 노이즈 감소 화소값은 이전 프레임에서의 제1 화소의 노이즈 감소 화소의 대응 위치의 화소값이다.

본 발명의 일부 실시 예에서, 노이즈 획득 모듈(1501)은 추가로 노이즈 영상의 N개의 모든 섹션들의 양자화 노이즈들을 획득하고, N개의 섹션들의 양자화 노이즈들과 미리 설정된 N개의 양자화 문터값들을 비교하고, N개의 섹션들의 양자화 노이즈들을 (N+1)개의 노이즈 레벨들로 분류하도록 구성된다.

본 발명의 일부 실시 예에서, 도 15b를 참조하면, 노이즈 획득 모듈(1501)은 블록 분할 서브모듈(15011), 양자화 노이즈 획득 서브모듈(15012), 및 섹션 노이즈 획득 서브모듈(15013)을 포함한다.

블록 분할 서브모듈(15011)은 제1 섹션을 다수의 블록들로 분할하도록 구성되며, 각 블록은 다수 화소를 포함한다.

양자화 노이즈 획득 서브모듈(15012)은 제1 블록의 모든 화소의 양자화 노이즈를 획득하고, 제1 블록의 모든 화소의 양자화 노이즈에 따라 제1 블록의 양자화 노이즈를 획득하며, 제1 섹션에서 제1 블록을 제외한 모든 블록들의 양자화 노이즈를 개별적으로 획득하도록 구성되며, 제1 블록은 제1 섹션의 임의 블록이다.

섹션 노이즈 획득 서브모듈(15013)은 제1 섹션의 모든 블록의 양자화 노이즈를 토대로 평균 양자화 노이즈를 산출하고, 평균 양자화 노이즈를 제1 섹션의 양자화 노이즈로 사용하거나, 또는 제1 섹션에서 모든 블록의 양자화 노이즈들을 하나씩 누적하고 누적 히스토그램에서 미리 설정된 노이즈 문턱값보다 큰 양자화 노이즈를 제1 섹션의 양자화 노이즈로 사용하도록 구성된다.

구체적으로, 양자화 노이즈 획득 서브모듈(15012)은 노이즈 추정 인접 지역에서 모든 화소의 화소값을 획득하고, 다음의 방식:

으로 제1 화소의 양자화 노이즈를 산출하도록 구성되며,

(x,y)는 현재 프레임에서 제1 화소의 화소 위치이며, pixel_noise(x,y)는 제1 화소의 양자화 노이즈이고, value_i는 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 노이즈 추정 인접 지역이며, 그리고 value_median는 NH(x,y)의 모든 화소의 중간값 또는 평균값이며, 노이즈 추정 인접 지역은 제1 화소를 중심으로 하고 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 제1 화소는 제1 블록의 임의 화소이다.

본 발명의 일부 실시 예에서, 도 15c를 참조하여, 양자화 노이즈 획득 서브모듈(15012)은 영역 결정 유닛(150121), 편평한 영역 양자화값 획득 유닛(150122), 블록 양자화값 획득 유닛(150123)을 포함한다.

영역 결정 유닛(150121)은 제1 블록의 각 화소가 편평한 영역에 있는지를 결정하도록 구성된다.

편평한 영역 양자화값 획득 유닛(150122)은 제1 블록에서 편평한 영역에 있는 모든 화소의 양자화 노이즈를 획득하도록 구성된다.

블록 양자화값 획득 유닛(150123)은 제1 블록에서 편평한 영역에 있는 모든 화소의 양자화 노이즈에 따라 제1 블록의 양자화 노이즈를 산출하도록 구성된다.

구체적으로, 도 15d를 참조하면, 영역 결정 유닛(150121)은 화소값 획득 서브유닛(subunit)(1501211), 에지 추정 서브유닛(1501212), 에지 영역 결정 서브유닛(1501213), 텍스쳐 추정 서브유닛(1501214), 텍스쳐 영역 결정 서브유닛(1501215), 및 편평한 영역 결정 서브유닛(1501216)을 포함한다.

화소값 획득 서브유닛(1501211)은 노이즈 추정 인접 지역의 모든 화소의 화소값을 획득하도록 구성되며, 노이즈 추정 인접 지역은 제1 화소를 중심으로 하며, 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 제1 화소는 제1 블록에서의 임의 화소이다.

에지 추정 서브유닛(1501212)은 노이즈 추정 인접 지역의 모든 화소의 화소값과 소벨 에지 컨볼루션 커널에 따라, 제1 화소의 에지 추정값을 산출하도록 구성된다.

에지 영역 결정 서브유닛(1501213)은 제1 화소의 에지 추정값이 에지 영역 문턱값보다 큰지를 결정하며, 제1 화소의 에지 추정값이 에지 영역 문턱값보다 크면 제1 화소가 에지 영역에 있는 것으로 결정하거나, 또는, 제1 화소의 에지 추정값이 에지 영역 문턱값보다 작거나 같으면 제1 화소가 에지 영역에 있지 않은 것으로 결정하도록 구성된다.

텍스쳐 추정 서브유닛(1501214)은 노이즈 추정 인접 지역의 모든 화소의 화소값에 따라 제1 화소의 텍스쳐 추정값을 산출하도록 구성된다.

텍스쳐 영역 결정 서브유닛(1501215)은 제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 큰지를 결정하고, 제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 크면 제1 화소가 텍스쳐 영역에 있는 것으로 결정하거나, 또는 제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 작거나 같으면 제1 화소가 텍스쳐 영역에 있지 않은 것으로 결정하도록 구성된다.

편평한 영역 결정 서브유닛(1501216)은 제1 화소가, 제1 화소가 에지 영역에 있지 않은 조건과 제1 화소가 텍스쳐 영역에 있지 않은 조건을 모두 만족하면, 제1 화소가 편평한 영역에 있는 것으로 결정하도록 구성된다.

구체적으로, 에지 추정 서브유닛(1501212)은 구체적으로 다음의 방식:

으로 제1 화소의 에지 추정값을 산출하도록 구성되고,

(x,y)는 현재 프레임에서의 제1 화소의 화소 위치이며, EM(x,y)는 제1 화소의 에지 추정값이고, NH(x,y)는 노이즈 추정 인접 지역이며, E_h, E_v, E_p45, 및 E_n45는 소벨 에지 컨볼루션 커널이고, 그리고 *는 컨볼루션 심볼이다.

텍스쳐 추정 서브유닛(1501214)은 구체적으로, 다음의 방식:

,

으로 제1 화소의 텍스쳐 추정값을 산출하도록 구성되고,

(x,y)는 현재 프레임에서의 제1 화소의 화소 위치이며, Noise_Max_Min(x,y)는 제1 화소의 텍스쳐 추정값이고, value_i는 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 노이즈 추정 인접 지역이고, 그리고 value_medium는 NH(x,y)의 모든 화소의 화소값들의 중간(middle) 값 또는 평균값이다.

편평한 영역 결정 서브유닛(1501216)은 다음의 방식:

으로 제1 화소가, 제1 화소가 에지 영역에 있지 않은 조건과 제1 화소가 텍스쳐 영역에 있지 않은 조건을 모두 만족하는지를 결정하도록 구성되며,

EM(x,y)는 제1 화소의 에지 추정값이며, EGth는 에지 영역 문턱값이고, Noise_Max_Min(x,y)는 제1 화소의 텍스쳐 추정값이며, 그리고 MHth는 텍스쳐 영역 문턱값이다.

본 발명의 일부 실시 예에서, 도 15e를 참조하면, 이동 추정 모듈(1502)은 노이즈 방지값 획득 서브모듈(15021) 및 이동 검출 서브모듈(15022)을 포함한다.

노이즈 방지값 획득 서브모듈(15021)은 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라, 제1 화소의 휘도 노이즈 방지값과 계조도 노이즈 방지값을 획득하도록 구성된다.

이동 검출 서브모듈(15022)은 제1 화소의 휘도 노이즈 방지값과 계조도 노이즈 방지값, 그리고 현재 프레임에서의 화소 위치에서 제1 화소의 화소값에 따라, 제1 화소에 대해 이동 검출을 수행하여 다음 프레임에서의 제1 화소의 화소 위치를 획득하도록 구성된다.

본 발명의 일부 실시 예에서, 노이즈 획득 모듈(1501)은 추가로 노이즈 영상의 모든 N개의 섹션의 양자화 노이즈를 획득하고, N개의 섹션의 양자화 노이즈와 N개의 미리 설정된 양자화 문턱값을 비교하며, N개의 섹션의 양자화 노이즈를 (N+1)개의 노이즈 레벨로 분류하도록 구성된다. 노이즈 방지값 획득 서브모듈(15021)은 구체적으로, 제1 섹션의 노이즈 레벨을 추출하고, 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계에 따라 제1 화소의 휘도 노이즈 방지값을 획득하며, 노이즈 레벨과 계조도 노이즈 방지값 사이의 양의 상관관계에 따라 제1 화소의 계조도 노이즈 방지값을 획득하도록 구성된다.

본 발명의 일부 다른 실시 예에서, 도 15f를 참조하면, 이동 검출 서브모듈(15022)은 휘도 산출 유닛(150221), 수평 계조도 산출 유닛(150222), 수직 계조도 산출 유닛(150223), 유사성 매칭값 산출 유닛(150224), 및 화소 위치 산출 유닛(150225)을 포함한다.

휘도 산출 유닛(150221)은 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 휘도 노이즈 방지값에 따라 휘도 변화 값을 산출하도록 구성된다.

수평 계조도 산출 유닛(150222)은 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 계조도 노이즈 방지값에 따라, 수평 방향 계조도 변화값을 산출하도록 구성된다.

수직 계조도 산출 유닛(150223)은 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 계조도 노이즈 방지값에 따라, 수직 방향 계조도 변화값을 산출하도록 구성된다.

유사성 매칭값 산출 유닛(150224)은 휘도 변화값과 수평방향 계조도 변화값과 수직방향 계조도 변화값에 따라, 제1 화소의 화소 유사성 매칭값을 산출하도록 구성된다.

화소 위치 산출 유닛(150225)은 화소 유사성 매칭값의 최소값이 획득되는 경우, 다음 프레임에서의 제1 화소의 화소 위치를 산출하도록 구성된다.

구체적으로, 휘도 산출 유닛(150221)은 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 휘도 변화값을 산출하도록 구성되며,

는 휘도 변화값이고,

는 제1 화소의 휘도 노이즈 방지값이며,

이고, (x,y)는 현재 프레임에서의 제1 화소의 화소 위치이고,

는 m번째 프레임에서의 제1 화소의 화소값이며, m번째 프레임은 제1 화소의 현재 프레임이고, (m+1)번째 프레임은 제1 화소의 다음 프레임이며, 그리고

는 (m+1) 번째 프레임에서의 제1 화소의 화소값이다.

수평 계조도 산출 유닛(150222)은 구체적으로, 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 수평 방향 계조도 변화값을 산출하도록 구성되며,

는 수평방향 계조도 변화값이며,

는 제1 화소의 계조도 노이즈 방지값이고,

이고,

는 제1 화소가 수평 방향에서 현재 프레임의 화소값

으로부터 위로 이동하는 후에 획득되는 화소값이며,

는 제1 화소가 수평 방향에서 현재 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이고,

는 제1 화소가 수평 방향에서 다음 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이며,

는 제1 화소가 수평 방향에서 다음 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이다.

수직 계조도 산출 유닛(150223)은 구체적으로, 제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 수직 방향 계조도 변화값을 산출하도록 구성되며,

는 수직방향 계조도 변화값이고,

는 제1 화소의 계조도 노이즈 방지값이며,

이고,

는 제1 화소가 수직 방향에서 현재 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이고,

는 제1 화소가 수직 방향에서 현재 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이며,

는 제1 화소가 수직 방향에서 다음 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이고,

는 제1 화소가 수직 방향에서 다음 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이다.

유사성 매칭값 산출 유닛(150224)는 구체적으로, 다음의 방식:

으로 제1 화소의 화소 유사성 매칭값을 산출하도록 구성되며,

는 제1 화소의 화소 유사성 매칭값이고,

는 휘도 변화값이며,

는 수평방향 계조도 변화값이고,

는 수직방향 계조도 변화값이다.

본 발명의 일부 실시 예에서, 도 15g를 참조하면, 이동/정지 결정 모듈(1503)은 카운팅 서브모듈(15031), 이동/정지 결정 서브모듈(15032), 정지 결정 서브모듈(15033) 및 이동 결정 서브모듈(15034)을 포함한다.

카운팅 서브모듈(15031)은 이동 추정 인접 지역의 현재 프레임에서의 모든 화소의 화소 위치와 이동 추정 인접 지역의 다음 프레임에서의 모든 화소의 화소 위치에 따라, 이동 추정 인접 지역에서의 정지 영역의 화소들을 카운팅하도록 구성된다.

이동/정지 결정 서브모듈(15032)은 이동 추정 인접 지역에서의 정지 영역의 화소들의 수량과 이동/정지를 결정하기 위한 미리 설정된 문턱값을 비교하도록 구성된다.

정지 결정 서브모듈(15033)은 이동 추정 인접 지역에서의 정지 영역의 화소들의 수량이 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 크거나 같으면, 제1 화소가 정지 영역에 있는 것으로 결정하도록 구성된다.

이동 결정 서브모듈(15034)은 이동 추정 인접 지역에서의 정지 영역의 화소들의 수량이 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 작으면, 제1 화소가 이동 영역에 있는 것으로 결정하도록 구성된다.

본 발명의 일부 실시 예에서, 도 15h를 참조하면, 제1 혼합 계수 선택 모듈(1504)은 제1 프레임 차이 결정 서브모듈(15041), 제1 선택 서브모듈(15042), 및 제2 선택 서브모듈(15043)을 포함한다.

제1 프레임 차이 결정 서브모듈(15041)은 제1 화소의 제1 프레임 차이가 미리 설정된 제1 프레임 차이 문턱값보다 작은지를 결정하도록 구성된다.

제1 선택 서브모듈(15042)은 제1 화소의 제1 프레임 차이가 미리 설정된 제1 프레임 차이 문턱값보다 작거나 같으면, 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라 제1 혼합 계수를 선택하도록 구성된다.

제2 선택 서브모듈(15043)은 제1 화소의 제1 프레임 차이가 미리 설정된 제1 프레임 차이 문턱값보다 크면, 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라, 제1 프레임 차이 가중치 계수를 선택하고, 제1 프레임 차이 문턱값과 제1 화소의 제1 프레임 차이와 제1 프레임 차이 가중치 계수에 따라 제1 혼합 계수를 선택하도록 구성된다.

제1 시간적 노이즈 감소 모듈(1505)은, 구체적으로, 다음의 방식:

으로 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하도록 구성되며,

는 제1 화소에 대응하는 제1 노이즈 감소 화소값이며,

는 현재 프레임에서의 제1 화소에 대응하는 위치의 화소값이고, 이동 추정 및 이동 보상이 이전 프레임에서의 제1 화소의 노이즈 감소 화소를 토대로 수행된 다음에 획득되며,

는 제1 혼합 계수이고,

는 현재 프레임에서의 제1 화소의 화소값이다.

구체적으로, 제2 시간적 노이즈 감소 모듈(1507)은, 구체적으로, 다음의 방식:

으로 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하도록 구성되며,

는 제1 화소에 대응하는 제2 노이즈 감소 화소값이며,

는 이전 프레임에서의 제1 화소의 노이즈 감소 화소의 대응 위치의 화소값이고,

는 제2 혼합 계수이며,

는 현재 프레임에서의 제1 화소의 화소값이다.

장치의 모듈/유닛과 그들의 실행 프로세스들 사이의 정보 교환과 같은 컨텐츠는 본 발명의 방법 실시 예들과 동일한 아이디어를 토대로 하며, 본 발명의 방법 실시 예들과 동일한 기술적 효과들을 생성한다. 특정 컨텐츠에 대하여, 본 발명의 전술한 방법 실시 예들에서의 설명이 참조될 수 있으며, 여기서는 상세한 설명을 생략한다.

도 15a 내지 도 15h에 도시된 실시 예들로부터, 노이즈 영상은 다수의 섹션들로 분할되고; 먼저, 제1 섹션의 양자화 노이즈가 획득되며; 그리고 화소들이 개별적으로 현재 프레임의 화소 위치에서 다음 프레임으로 이동한 후에, 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역의 제1 섹션에서의 모든 화소의 화소 위치들이 검출되고; 다음에, 현재 프레임에서 다음 프레임으로 변화하는 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황에 따라, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지가 결정되며; 다음에, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지의 결정에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들이 개별적으로 설정되며, 그리고 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 산출 방식들과 이전 프레임 화소값 산출 방식들이 사용되고; 최종적으로, 혼합 계수와 이전 프레임의 화소값과 현재 프레임에서의 제1 화소의 화소값에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 노이즈 감소 혼합 방식들이 선택되며, 혼합 계수는 제1 화소의 이동 추정 결과에 따라 선택되고, 정지/이동은 제1 화소가 속하는 제1섹션의 양자화 노이즈를 참조하여 결정될 수 있으며, 그러므로 부정확한 결정의 확률이 매우 낮으며; 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지를 결정하는 것의 상이한 결과에 대하여, 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들이 개별적으로 설정되고, 상이한 프레임 차이 산출 방식들이 사용되며; 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들과 프레임 차이 산출 방식들에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 혼합 계수들이 선택되고; 이동 영역 및 정지 영역에 적용 가능한 상이한 혼합 계수들과 프레임 차이 산출 방식들과 현재 프레임에서의 제1 화소의 화소값에 따라, 노이즈 감소 혼합 방식이 선택됨을 알 수 있다. 이러한 방식으로, 노이즈 영상이 이동 영역에 있는지 또는 정지 영역에 있는지에 따라 노이즈 감소 처리가 구현될 수 있으며, 검출 에러의 확률이 매우 낮다. 그러므로 본 발명의 이러한 실시 예들의 기술적 솔루션은 다수의 노이즈 시나리오에 적용될 수 있다.

본 발명의 실시 예는 추가로 컴퓨터 저장 매체를 제공하며, 컴퓨터 저장 매체는 프로그램을 저장하며, 프로그램은 전술한 방법 실시 예들에서 기록된 모든 또는 일부의 단계들을 수행한다.

다음에는 본 발명의 실시 예에 따른 노이즈 영상에 대한 다른 시간적 노이즈 감소 장치를 소개한다. 도 16을 참조하면, 노이즈 영상에 대한 시간적 노이즈 감소 장치(1600)는 입력 장치(1601), 출력 장치(1602), 프로세서(1603), 및 메모리(1604)(노이즈 영상에 대한 시간적 노이즈 감소 장치(1600)는 하나 이상의 프로세서들(1603)을 포함할 수 있으나, 도 16에서는 하나의 프로세서 하나의 예로서 사용됨)를 포함한다. 본 발명의 일부 실시 예에서, 입력 장치(1601), 출력 장치(1602), 프로세서(1603), 및 메모리(1604)는 버스 또는 다른 방식으로 연결될 수 있으며; 도 16에서, 버스를 이용하여 이들을 연결하는 것이 하나의 예로 사용된다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 구체적으로,

노이즈 영상의 제1 섹션의 양자화 노이즈를 획득하는 단계 - 제1 섹션은 노이즈 영상으로부터 분할된 다수 섹션들 중의 하나임 -;

화소가 현재 프레임의 화소 위치에서 다음 프레임으로 이동한 후에, 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역에서의 모든 화소들의 화소 위치를 검출하는 단계 - 이동 추정 인접 지역은 제1 화소를 중심으로 하는 인접 화소들을 포함하며, 제1 화소는 제1 섹션에서의 임의 화소임 -;

현재 프레임에서 다음 프레임으로 변화하는 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황에 따라, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지를 결정하는 단계;

제1 화소가 이동 영역에 있으면, 제1 화소의 제1 프레임 차이와 미리 설정된 제1 프레임 차이 문턱값에 따라, 제1 혼합 계수를 선택하고, 제1 혼합 계수와 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 이동 보상 화소값에 따라, 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하는 단계; 및

제1 화소가 정지 영역에 있으면, 제1 화소의 제2 프레임 차이와 미리 설정된 제2 프레임 차이 문턱값에 따라 제2 혼합 계수를 선택하고, 제2 혼합 계수와 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 노이즈 감소 화소값에 따라, 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하는 단계

를 수행하도록 구성되며,

제1 프레임 차이는 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 이동 보상 화소값 사이의 차이이며, 이동 보상 화소값은 현재 프레임에서의 제1 화소의 대응 위치의 화소값이며, 이전 프레임에서의 제1 화소의 노이즈 감소 화소를 토대로 이동 추정 및 이동 보상이 수행된 후에 획득되고,

제2 프레임 차이 문턱값은 제1 프레임 차이 문턱값보다 크고, 제2 프레임 차이는 현재 프레임에서의 제1 화소의 화소값과 이전 프레임에서의 제1 화소의 노이즈 감소 화소값 사이의 차이이며, 노이즈 감소 화소값은 이전 프레임에서의 1 화소의 노이즈 감소 화소의 대응 위치의 화소값이다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 구체적으로,

제1 섹션을 다수의 블록들로 분할하는 단계 - 각 블록은 다수 화소를 포함함 -;

제1 블록의 모든 화소의 양자화 노이즈를 획득하고, 제1 블록의 모든 화소의 양자화 노이즈에 따라 제1 블록의 양자화 노이즈를 획득하고, 제1 섹션에서 제1 블록을 제외한 모든 블록들의 양자화 노이즈를 개별적으로 획득하는 단계 - 제1 블록은 제1 섹션의 임의 블록임 -; 및

제1 섹션의 모든 블록의 양자화 노이즈를 토대로 평균 양자화 노이즈를 산출하고 평균 양자화 노이즈를 제1 섹션의 양자화 노이즈로 사용하거나, 또는 제1 섹션에서 모든 블록의 양자화 노이즈들을 하나씩 누적하고 누적 히스토그램에서 미리 설정된 노이즈 문턱값보다 큰 양자화 노이즈를 제1 섹션의 양자화 노이즈로 사용하는 단계

를 수행하도록 구성된다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 구체적으로,

노이즈 추정 인접 지역의 모든 화소의 화소값을 획득하는 단계 - 노이즈 추정 인접 지역은, 제1 화소를 중심으로 하며 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 제1 화소는 제1 블록에서의 임의 화소임 -;

노이즈 추정 인접 지역의 모든 화소의 화소값과 소벨 에지 컨볼루션 커널에 따라, 제1 화소의 에지 추정값을 산출하는 단계;

제1 화소의 에지 추정값이 에지 영역 문턱값보다 큰지를 결정하며, 제1 화소의 에지 추정값이 에지 영역 문턱값보다 크면 제1 화소가 에지 영역에 있는 것으로 결정하거나, 또는, 제1 화소의 에지 추정값이 에지 영역 문턱값보다 작거나 같으면 제1 화소가 에지 영역에 있지 않은 것으로 결정하는 단계;

노이즈 추정 인접 지역의 모든 화소의 화소값에 따라 제1 화소의 텍스쳐 추정값을 산출하는 단계; 및

제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 큰지를 결정하고, 제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 크면 제1 화소가 텍스쳐 영역에 있는 것으로 결정하거나, 또는 제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 작거나 같으면 제1 화소가 텍스쳐 영역에 있지 않은 것으로 결정하는 단계

를 수행하도록 구성되며,

제1 화소가, 제1 화소가 에지 영역에 있지 않은 조건과 제1 화소가 텍스쳐 영역에 있지 않은 조건을 모두 만족하면, 제1 화소가 편평한 영역에 있는 것으로 결정한다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 구체적으로,

다음의 방식:

으로 제1 화소의 에지 추정값을 산출하는 단계를 수행하도록 구성되며,

(x,y)는 현재 프레임에서의 제1 화소의 화소 위치이며, EM(x,y)는 제1 화소의 에지 추정값이고, NH(x,y)는 노이즈 추정 인접 지역이며, E_h, E_v, E_p45, 및 E_n45는 소벨 에지 컨볼루션 커널이고, 그리고 *는 컨볼루션 심볼이다.

노이즈 추정 지역의 모든 화소의 화소값에 따라 제1 화소의 텍스쳐 추정값을 산출하는 것은,

,

의 방식으로 제1 화소의 텍스쳐 추정값을 산출하는 단계 - (x,y)는 현재 프레임에서의 제1 화소의 화소 위치이며, Noise_Max_Min(x,y)는 제1 화소의 텍스쳐 추정값이고, value_i는 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 노이즈 추정 인접 지역이고, 그리고 value_medium는 NH(x,y)의 모든 화소의 화소값들의 중간(middle) 값 또는 평균값임 -; 및

의 방식으로, 제1 화소가, 제1 화소가 에지 영역에 있지 않은 조건과 제1 화소가 텍스쳐 영역에 있지 않은 조건을 모두 만족하는지를 결정하는 단계

를 포함하며,

EM(x,y)는 제1 화소의 에지 추정값이며, EGth는 에지 영역 문턱값이고, Noise_Max_Min(x,y)는 제1 화소의 텍스쳐 추정값이며, 그리고 MHth는 텍스쳐 영역 문턱값이다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 구체적으로,

노이즈 추정 인접 지역에서 모든 화소의 화소값을 획득하는 단계 - 노이즈 추정 인접 지역은 제1 화소를 중심으로 하고 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 제1 화소는 제1 블록의 임의 화소임 -; 및

다음의 방식:

으로 제1 화소의 양자화 노이즈를 산출하는 단계

를 수행하도록 구성되며,

(x,y)는 현재 프레임에서 제1 화소의 화소 위치이며, pixel_noise(x,y)는 제1 화소의 양자화 노이즈이고, value_i는 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 노이즈 추정 인접 지역이며, 그리고 value_median는 NH(x,y)의 모든 화소의 중간값 또는 평균값이다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 구체적으로,

제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라, 제1 화소의 휘도 노이즈 방지값과 계조도 노이즈 방지값을 획득하는 단계;

제1 화소의 휘도 노이즈 방지값과 계조도 노이즈 방지값, 그리고 현재 프레임에서의 화소 위치에서 제1 화소의 화소값에 따라, 제1 화소에 대해 이동 검출을 수행하여 다음 프레임에서의 제1 화소의 화소 위치를 획득하는 단계;

제1 섹션의 양자화 노이즈에 따라, 제1 섹션에서 제1 화소를 제외한 나머지 화소들의 휘도 노이즈 방지값과 계조도 노이즈 방지값을 획득하는 단계; 및

제1 섹션에서 제1 화소를 제외한 나머지 화소들의 휘도 노이즈 방지값과 계조도 노이즈 방지값, 그리고 현재 프레임에서의 화소 위치에서 제1 섹션의 제1 화소를 제외한 나머지 화소들의 화소값들에 따라, 제1 섹션에서 제1 화소를 제외한 나머지 화소들에 대해 이동 검출을 수행하여, 다음 프레임에서 제1 섹션의 제1 화소를 제외한 나머지 화소들의 화소 위치들을 획득하는 단계

를 수행하도록 구성된다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 구체적으로,

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 휘도 노이즈 방지값에 따라, 휘도 변화값을 산출하는 단계;

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 계조도 노이즈 방지값에 따라, 수평 방향 계조도 변화값을 산출하는 단계;

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 계조도 노이즈 방지값에 따라, 수직 방향 계조도 변화값을 산출하는 단계;

휘도 변화값과 수평방향 계조도 변화값과 수직방향 계조도 변화값에 따라, 제1 화소의 화소 유사성 매칭값을 산출하는 단계; 및

화소 유사성 매칭값의 최소값이 획득되는 경우, 다음 프레임에서의 제1 화소의 화소 위치를 산출하는 단계

를 수행하도록 구성된다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 구체적으로,

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 휘도 변화값을 산출하는 단계를 수행하도록 구성되며,

는 휘도 변화값이고,

는 제1 화소의 휘도 노이즈 방지값이며,

이고, (x,y)는 현재 프레임에서의 제1 화소의 화소 위치이고,

는 m번째 프레임에서의 제1 화소의 화소값이며, m번째 프레임은 제1 화소의 현재 프레임이고, (m+1)번째 프레임은 제1 화소의 다음 프레임이며, 그리고

는 (m+1) 번째 프레임에서의 제1 화소의 화소값이며;

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 계조도 노이즈 방지값에 따라, 수평 방향 계조도 변화값을 산출하는 것은,

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 수평 방향 계조도 변화값을 산출하는 단계를 포함하며,

는 수평방향 계조도 변화값이며,

는 제1 화소의 계조도 노이즈 방지값이고,

이고,

는 제1 화소가 수평 방향에서 현재 프레임의 화소값

으로부터 위로 이동하는 후에 획득되는 화소값이며,

는 제1 화소가 수평 방향에서 현재 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이고,

는 제1 화소가 수평 방향에서 다음 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이며,

는 제1 화소가 수평 방향에서 다음 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이고;

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 제1 화소의 계조도 노이즈 방지값에 따라, 수직 방향 계조도 변화값을 산출하는 것은,

제1 화소가 현재 프레임에서의 화소 위치에서 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:

으로 수직 방향 계조도 변화값을 산출하는 단계를 포함하며,

는 수직방향 계조도 변화값이고,

는 제1 화소의 계조도 노이즈 방지값이며,

이고,

는 제1 화소가 수직 방향에서 현재 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이고,

는 제1 화소가 수직 방향에서 현재 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이며,

는 제1 화소가 수직 방향에서 다음 프레임의 화소값

으로부터 위로 이동한 후에 획득되는 화소값이고,

는 제1 화소가 수직 방향에서 다음 프레임의 화소값

으로부터 아래로 이동한 후에 획득되는 화소값이며; 그리고

휘도 변화값과 수평방향 계조도 변화값과 수직방향 계조도 변화값에 따라, 제1 화소의 화소 유사성 매칭값을 산출하는 것은,

다음의 방식:

으로 제1 화소의 화소 유사성 매칭값을 산출하는 단계를 포함하며,

는 제1 화소의 화소 유사성 매칭값이고,

는 휘도 변화값이며,

는 수평방향 계조도 변화값이고,

는 수직방향 계조도 변화값이다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 추가로,

노이즈 영상의 모든 N개의 섹션의 양자화 노이즈를 획득하는 단계; 및

N개의 섹션의 양자화 노이즈와 N개의 미리 설정된 양자화 문턱값을 비교하고, N개의 섹션의 양자화 노이즈를 (N+1)개의 노이즈 레벨로 분류하는 단계

를 수행하도록 구성되며,

제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라, 제1 화소의 휘도 노이즈 방지값과 계조도 노이즈 방지값을 획득하는 것은,

제1 섹션의 노이즈 레벨을 추출하고, 노이즈 레벨과 휘도 노이즈 방지값 사이의 양의 상관관계에 따라 제1 화소의 휘도 노이즈 방지값을 획득하며, 노이즈 레벨과 계조도 노이즈 방지값 사이의 양의 상관관계에 따라 제1 화소의 계조도 노이즈 방지값을 획득하는 단계를 포함한다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 구체적으로,

이동 추정 인접 지역의 현재 프레임에서의 모든 화소의 화소 위치와 이동 추정 인접 지역의 다음 프레임에서의 모든 화소의 화소 위치에 따라, 이동 추정 인접 지역에서의 정지 영역의 화소들을 카운팅하는 단계;

이동 추정 인접 지역에서의 정지 영역의 화소들의 수량과 이동/정지를 결정하기 위한 미리 설정된 문턱값을 비교하는 단계;

이동 추정 인접 지역에서의 정지 영역의 화소들의 수량이 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 크거나 같으면, 제1 화소가 정지 영역에 있는 것으로 결정하는 단계; 및

이동 추정 인접 지역에서의 정지 영역의 화소들의 수량이 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 작으면, 제1 화소가 이동 영역에 있는 것으로 결정하는 단계

를 수행하도록 구성된다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 구체적으로,

제1 화소의 제1 프레임 차이가 미리 설정된 제1 프레임 차이 문턱값보다 작은지를 결정하는 단계;

제1 화소의 제1 프레임 차이가 미리 설정된 제1 프레임 차이 문턱값보다 작거나 같으면, 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라 제1 혼합 계수를 선택하는 단계; 및

제1 화소의 제1 프레임 차이가 미리 설정된 제1 프레임 차이 문턱값보다 크면, 제1 화소가 속하는 제1 섹션의 양자화 노이즈에 따라, 제1 프레임 차이 가중치 계수를 선택하고, 제1 프레임 차이 문턱값과 제1 화소의 제1 프레임 차이와 제1 프레임 차이 가중치 계수에 따라 제1 혼합 계수를 선택하는 단계

를 수행하도록 구성된다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 구체적으로,

다음의 방식:

으로 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하는 단계를 수행하도록 구성되며,

는 제1 화소에 대응하는 제1 노이즈 감소 화소값이며,

는 현재 프레임에서의 제1 화소에 대응하는 위치의 화소값이고, 이동 추정 및 이동 보상이 이전 프레임에서의 제1 화소의 노이즈 감소 화소를 토대로 수행된 다음에 획득되며,

는 제1 혼합 계수이고,

는 현재 프레임에서의 제1 화소의 화소값이다.

본 발명의 일부 실시 예에서, 프로세서(1603)는 구체적으로,

다음의 방식:

으로 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하는 단계를 수행하도록 구성되며,

는 제1 화소에 대응하는 제2 노이즈 감소 화소값이며,

는 이전 프레임에서의 제1 화소의 노이즈 감소 화소의 대응 위치의 화소값이고,

는 제2 혼합 계수이며,

는 현재 프레임에서의 제1 화소의 화소값이다.

본 실시 예로부터, 노이즈 영상은 다수의 섹션들로 분할되고; 먼저, 제1 섹션의 양자화 노이즈가 획득되며; 그리고 화소들이 개별적으로 현재 프레임의 화소 위치에서 다음 프레임으로 이동한 후에, 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역의 제1 섹션에서의 모든 화소의 화소 위치들이 검출되고; 다음에, 현재 프레임에서 다음 프레임으로 변화하는 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황에 따라, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지가 결정되며; 다음에, 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지의 결정에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들이 개별적으로 설정되며, 그리고 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 산출 방식들과 이전 프레임 화소값 산출 방식들이 사용되고; 최종적으로, 혼합 계수와 이전 프레임의 화소값과 현재 프레임에서의 제1 화소의 화소값에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 노이즈 감소 혼합 방식들이 선택되며, 혼합 계수는 제1 화소의 이동 추정 결과에 따라 선택됨을 알 수 있다.

본 발명의 실시 예에서, 정지/이동은 제1 화소가 속하는 제1 섹션의 양자화 노이즈를 참조하여 결정될 수 있으며, 그러므로 부정확한 결정의 확률이 매우 낮으며; 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지를 결정하는 것의 상이한 결과에 대하여, 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들이 개별적으로 설정되고, 상이한 프레임 차이 산출 방식들이 사용되며; 이동 영역 및 정지 영역에 적용 가능한 상이한 프레임 차이 문턱값들과 프레임 차이 산출 방식들에 따라, 이동 영역 및 정지 영역에 적용 가능한 상이한 혼합 계수들이 선택되고; 이동 영역 및 정지 영역에 적용 가능한 상이한 혼합 계수들과 프레임 차이 산출 방식들과 현재 프레임에서의 제1 화소의 화소값에 따라, 노이즈 감소 혼합 방식이 선택됨을 알 수 있다. 이러한 방식으로, 노이즈 영상이 이동 영역에 있는지 또는 정지 영역에 있는지에 따라 노이즈 감소 처리가 구현될 수 있으며, 검출 에러의 확률이 매우 낮다. 그러므로 본 발명의 이러한 실시 예들의 기술적 솔루션은 다수의 노이즈 시나리오에 적용될 수 있다.

기술된 장치 실시 예는 단지 예시적인 것임을 주목해야 한다. 개별적 부분으로서 기술된 유닛(unit)은 물리적으로 분리되어 있거나 분리되어 있지 않을 수 있으며, 유닛으로 기술된 파트(part)들은 물리적인 유닛이거나 물리적인 유닛이 아닐 수 있고, 하나의 위치에 위치될 수 있거나 또는 복수의 네트워크 유닛에 분산될 수 있다.

모든 모듈 또는 일부 모듈은 본 실시 예들의 솔루션들의 목적을 달성하기 위하여 실제 요구사항(actual requirements)에 따라 선택될 수 있다. 또한, 본 발명에서 제공되는 장치 실시 예들의 첨부한 도면들에서, 모듈들 사이의 연결 관계는 모듈이 서로 서로 구체적으로 하나 이상의 통신 버스 또는 시리얼 케이블로 구현될 수 있는 통신 연결을 가지는 것을 나타낸다. 당업자는 창조적 노력 없이 본 발명의 실시 예들을 이해하고 구현할 수 있다.

전술한 구현 방식들의 설명을 토대로, 당업자는 본 발명이 필수적인 공통의 하드웨어 또는 애플리케이션 특정 집적 회로(application-specific integrated circuit), 전용(dedicated) CPU, 전용 메모리, 전용 컴포넌트(component)를 포함하는 전용 하드웨어 이외에, 소프트웨어에 의해 구현될 수 있음을 명백하게 이해할 수 있다. 일반적으로, 컴퓨터 프로그램에 의해 수행될 수 있는 임의 기능(function)들은 대응하는 하드웨어를 사용하여 용이하게 구현될 수 있다.

더욱이, 동일 기능을 달성하는 데 사용되는 특정 하드웨어 구조는 예를 들어, 아날로그 회로, 디지털 회로, 전송 회로 등의 다양한 형태일 수 있다. 그러나, 본 발명에 대해 말하자면, 소프트웨어 프로그램 구현은 일부 경우에 보다 나은 구현 방식이다. 이러한 이해를 토대로, 본 발명의 기술적 솔류션 또는 기존 기술에 기여하는(contributing to the prior art) 부분이 소트프웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품이 플로피 디스크, USB 플래시 드라이브(flash drive), 제거 가능한(removable) 하드디스크, 판독 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 마그네틱 디스크(magnetic disk), 또는 컴퓨터의 광학 디스크(optical disc)와 같은 판독 가능한 저장 매체에 저장되며, 컴퓨터 장치(개인 컴퓨터(personal computer), 서버, 네트워크 장치 등일 수 있음)에게 본 발명의 실시 예들에 기술된 방법들을 수행하도록 명령하는 다수의 명령(instruction)들을 포함한다.

전술한 실시 예들은 단지 본 발명의 기술적 솔류션을 설명하기 위하여 의도된 것이며, 본 발명을 한정하지 않는다. 본 발명이 전술한 실시 예들을 참조하여 구체적으로 기술되었음에도 불구하고, 당업자는 본 발명의 실시 예들의 기술적 솔류션들의 사상(spirit) 및 범위(scope)를 벗어나지 않고, 전술한 실시 예들에 기술된 기술적 솔류션들에 대한 변경(modifications) 또는 일부 기술적 솔루션들에 대한 균등물 대체(equivalent replacements)를 할 수 있음을 이해해야 한다.

Claims (28)

1. 노이즈 영상(noisy image)에 대한 시간적 노이즈(temporal noise) 감소 방법에 있어서,
   노이즈 영상의 제1 섹션(section)의 양자화 노이즈(quantization noise)를 획득하는 단계 - 상기 제1 섹션은 상기 노이즈 영상으로부터 분할된 다수 섹션들 중의 하나임 -;
   화소가 현재 프레임의 화소 위치에서 다음 프레임(next frame)으로 이동한 후에, 상기 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역(movement estimation neighborhood)에서의 모든 화소들의 화소 위치를 검출하는 단계 - 상기 이동 추정 인접 지역은 제1 화소를 중심으로 하는 인접 화소들을 포함하며, 상기 제1 화소는 상기 제1 섹션에서의 임의 화소임 -;
   상기 현재 프레임에서 상기 다음 프레임으로 변화하는 상기 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황(pixel position change situation)에 따라, 상기 제1 화소가 이동 영역에 있는지 또는 정지 영역(still area)에 있는지를 결정하는 단계;
   상기 제1 화소가 상기 이동 영역에 있으면, 상기 제1 화소의 제1 프레임 차이(difference)와 미리 설정된 제1 프레임 차이 문턱값에 따라, 제1 혼합 계수(blending coefficient)를 선택하고, 상기 제1 혼합 계수와 상기 현재 프레임에서의 상기 제1 화소의 화소값과 이전 프레임에서의 상기 제1 화소의 이동 보상(compensation) 화소값에 따라, 상기 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하는 단계; 및
   상기 제1 화소가 상기 정지 영역에 있으면, 상기 제1 화소의 제2 프레임 차이와 미리 설정된 제2 프레임 차이 문턱값에 따라 제2 혼합 계수를 선택하고, 상기 제2 혼합 계수와 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소값에 따라, 상기 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하는 단계
   를 포함하며,
   상기 제1 프레임 차이는 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 이동 보상 화소값 사이의 차이이며, 상기 이동 보상 화소값은 상기 현재 프레임에서의 상기 제1 화소의 대응 위치의 화소값이며, 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소를 토대로 이동 추정 및 이동 보상이 수행된 후에 획득되고,
   상기 제2 프레임 차이 문턱값은 상기 제1 프레임 차이 문턱값보다 크고, 상기 제2 프레임 차이는 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 상기 노이즈 감소 화소값 사이의 차이이며, 상기 노이즈 감소 화소값은 상기 이전 프레임에서의 상기 제1 화소의 상기 노이즈 감소 화소의 대응 위치의 화소값인, 시간적 노이즈 감소 방법.
2. 제1항에 있어서,
   상기 노이즈 영상의 제1 섹션의 양자화 노이즈를 획득하는 단계는,
   상기 제1 섹션을 다수의 블록들로 분할하는 단계 - 각 블록은 다수 화소를 포함함 -;
   제1 블록의 모든 화소의 양자화 노이즈를 획득하고, 상기 제1 블록의 모든 화소의 양자화 노이즈에 따라 상기 제1 블록의 양자화 노이즈를 획득하고, 상기 제1 섹션에서 상기 제1 블록을 제외한 모든 블록들의 양자화 노이즈를 개별적으로 획득하는 단계 - 상기 제1 블록은 상기 제1 섹션의 임의 블록임 -; 및
   상기 제1 섹션의 모든 블록의 양자화 노이즈를 토대로 평균 양자화 노이즈를 산출하고 상기 평균 양자화 노이즈를 상기 제1 섹션의 양자화 노이즈로 사용하거나, 또는 상기 제1 섹션에서 모든 블록의 양자화 노이즈들을 하나씩 누적하고 누적 히스토그램(cumulative histogram)에서 미리 설정된 노이즈 문턱값보다 큰 양자화 노이즈를 상기 제1 섹션의 양자화 노이즈로 사용하는 단계
   를 포함하는, 시간적 노이즈 감소 방법.
3. 제2항에 있어서,
   상기 제1 블록의 모든 화소의 양자화 노이즈에 따라 상기 제1 블록의 양자화 노이즈를 획득하는 것은,
   상기 제1 블록의 각 화소가 편평한 영역(flat area)에 있는지를 결정하는 단계;
   상기 제1 블록에서 상기 편평한 영역에 있는 모든 화소의 양자화 노이즈를 획득하는 단계; 및
   상기 제1 블록에서 상기 편평한 영역에 있는 모든 화소의 양자화 노이즈에 따라 상기 제1 블록의 양자화 노이즈를 산출하는 단계
   를 포함하는, 시간적 노이즈 감소 방법
4. 제3항에 있어서,
   상기 제1 블록의 각 화소가 편평한 영역에 있는지를 결정하는 단계는,
   노이즈 추정 인접 지역의 모든 화소의 화소값을 획득하는 단계 - 상기 노이즈 추정 인접 지역은, 상기 제1 화소를 중심으로 하며 상기 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 상기 제1 화소는 상기 제1 블록에서의 임의 화소임 -;
   상기 노이즈 추정 인접 지역의 모든 화소의 화소값과 소벨 에지 컨볼루션 커널(sobel edge convolution kernels)에 따라, 상기 제1 화소의 에지 추정값을 산출하는 단계;
   상기 제1 화소의 에지 추정값이 에지 영역 문턱값보다 큰지를 결정하며, 상기 제1 화소의 에지 추정값이 상기 에지 영역 문턱값보다 크면 상기 제1 화소가 에지 영역에 있는 것으로 결정하거나, 또는, 상기 제1 화소의 에지 추정값이 상기 에지 영역 문턱값보다 작거나 같으면 상기 제1 화소가 상기 에지 영역에 있지 않은 것으로 결정하는 단계;
   상기 노이즈 추정 인접 지역의 모든 화소의 화소값에 따라 상기 제1 화소의 텍스쳐(texture) 추정값을 산출하는 단계; 및
   상기 제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 큰지를 결정하고, 상기 제1 화소의 텍스쳐 추정값이 상기 텍스쳐 영역 문턱값보다 크면 상기 제1 화소가 텍스쳐 영역에 있는 것으로 결정하거나, 또는 상기 제1 화소의 텍스쳐 추정값이 상기 텍스쳐 영역 문턱값보다 작거나 같으면 상기 제1 화소가 상기 텍스쳐 영역에 있지 않은 것으로 결정하는 단계
   를 포함하며,
   상기 제1 화소가, 상기 제1 화소가 상기 에지 영역에 있지 않은 조건과 상기 제1 화소가 상기 텍스쳐 영역에 있지 않은 조건을 모두 만족하면, 상기 제1 화소가 상기 편평한 영역에 있는 것으로 결정하는, 시간적 노이즈 감소 방법.
5. 제4항에 있어서,
   상기 노이즈 추정 인접 지역의 모든 화소의 화소값과 소벨 에지 컨볼루션 커널에 따라, 상기 제1 화소의 에지 추정값을 산출하는 단계는,
   다음의 방식(the following manner):
   

   

   
   으로 상기 제1 화소의 상기 에지 추정값을 산출하는 단계를 포함하며,
   (x,y)는 상기 현재 프레임에서의 상기 제1 화소의 화소 위치이며, EM(x,y)는 상기 제1 화소의 상기 에지 추정값이고, NH(x,y)는 상기 노이즈 추정 인접 지역이며, E_h, E_v, E_p45, 및 E_n45는 상기 소벨 에지 컨볼루션 커널이고, 그리고 *는 컨볼루션 심볼(symbol)이며,
   상기 노이즈 추정 인접 지역의 모든 화소의 화소값에 따라 상기 제1 화소의 텍스쳐 추정값을 산출하는 단계는,
   

   

   ,

   

   의 방식으로 상기 제1 화소의 상기 텍스쳐 추정값을 산출하는 단계 - (x,y)는 상기 현재 프레임에서의 상기 제1 화소의 화소 위치이며, Noise_Max_Min(x,y)는 상기 제1 화소의 상기 텍스쳐 추정값이고, value_i는 상기 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 상기 노이즈 추정 인접 지역이고, 그리고 value_medium는 NH(x,y)의 모든 화소의 화소값들의 중간(middle) 값 또는 평균값임 -; 및
   

   

   의 방식으로, 상기 제1 화소가, 상기 제1 화소가 상기 에지 영역에 있지 않은 조건과 상기 제1 화소가 상기 텍스쳐 영역에 있지 않은 조건을 모두 만족하는지를 결정하는 단계
   를 포함하며,
   EM(x,y)는 상기 제1 화소의 에지 추정값이며, EGth는 상기 에지 영역 문턱값이고, Noise_Max_Min(x,y)는 상기 제1 화소의 텍스쳐 추정값이며, 그리고 MHth는 상기 텍스쳐 영역 문턱값인, 시간적 노이즈 감소 방법.
6. 제2항에 있어서,
   상기 제1 블록의 모든 화소의 양자화 노이즈를 획득하는 것은,
   노이즈 추정 인접 지역에서 모든 화소의 화소값을 획득하는 단계 - 상기 노이즈 추정 인접 지역은 상기 제1 화소를 중심으로 하고 상기 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 상기 제1 화소는 상기 제1 블록의 임의 화소임 -; 및
   다음의 방식:
   

   

   
   으로 상기 제1 화소의 양자화 노이즈를 산출하는 단계
   를 포함하며,
   (x,y)는 상기 현재 프레임에서 상기 제1 화소의 화소 위치이며, pixel_noise(x,y)는 상기 제1 화소의 양자화 노이즈이고, value_i는 상기 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 상기 노이즈 추정 인접 지역이며, 그리고 value_median는 NH(x,y)의 모든 화소의 중간값 또는 평균값인, 시간적 노이즈 감소 방법.
7. 제1항에 있어서,
   상기 화소가 현재 프레임의 화소 위치에서 다음 프레임으로 이동한 후에, 상기 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역에서의 모든 화소들의 화소 위치를 검출하는 단계는,
   상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라, 상기 제1 화소의 휘도 노이즈 방지값(brightness anti-noise value)과 계조도 노이즈 방지값(gradient anti-noise value)을 획득하는 단계;
   상기 제1 화소의 상기 휘도 노이즈 방지값과 상기 계조도 노이즈 방지값, 그리고 상기 현재 프레임에서의 화소 위치에서 상기 제1 화소의 화소값에 따라, 상기 제1 화소에 대해 이동 검출을 수행하여 상기 다음 프레임에서의 상기 제1 화소의 화소 위치를 획득하는 단계;
   상기 제1 섹션의 양자화 노이즈에 따라, 상기 제1 섹션에서 상기 제1 화소를 제외한 나머지 화소들의 휘도 노이즈 방지값과 계조도 노이즈 방지값을 획득하는 단계; 및
   상기 제1 섹션에서 상기 제1 화소를 제외한 나머지 화소들의 휘도 노이즈 방지값과 계조도 노이즈 방지값, 그리고 상기 현재 프레임에서의 화소 위치에서 상기 제1 섹션의 상기 제1 화소를 제외한 나머지 화소들의 화소값들에 따라, 상기 제1 섹션에서 상기 제1 화소를 제외한 상기 나머지 화소들에 대해 이동 검출을 수행하여, 상기 다음 프레임에서 상기 제1 섹션의 상기 제1 화소를 제외한 상기 나머지 화소들의 화소 위치들을 획득하는 단계
   를 포함하는, 시간적 노이즈 감소 방법.
8. 제7항에 있어서,
   상기 제1 화소의 상기 휘도 노이즈 방지값과 상기 계조도 노이즈 방지값, 그리고 상기 현재 프레임에서의 화소 위치에서 상기 제1 화소의 화소값에 따라, 상기 제1 화소에 대해 이동 검출을 수행하여 상기 다음 프레임에서의 상기 제1 화소의 화소 위치를 획득하는 단계는,
   상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 휘도 노이즈 방지값에 따라, 휘도 변화값(brightness change value)을 산출하는 단계;
   상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 상기 계조도 노이즈 방지값에 따라, 수평 방향 계조도 변화값(horizontal-direction gradient change value)을 산출하는 단계;
   상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 상기 계조도 노이즈 방지값에 따라, 수직 방향 계조도 변화값(vertical gradient change value)을 산출하는 단계;
   상기 휘도 변화값과 상기 수평방향 계조도 변화값과 상기 수직방향 계조도 변화값에 따라, 상기 제1 화소의 화소 유사성 매칭값(pixel similarity matching value)을 산출하는 단계; 및
   상기 화소 유사성 매칭값의 최소값이 획득되는 경우, 상기 다음 프레임에서의 상기 제1 화소의 화소 위치를 산출하는 단계
   를 포함하는, 시간적 노이즈 감소 방법.
9. 제8항에 있어서,
   상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 휘도 노이즈 방지값에 따라, 휘도 변화값을 산출하는 단계는,
   상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:
   

   

   
   으로 상기 휘도 변화값을 산출하는 단계를 포함하며,
   

   

   는 상기 휘도 변화값이고,

   

   는 상기 제1 화소의 상기 휘도 노이즈 방지값이며,

   

   이고, (x,y)는 상기 현재 프레임에서의 상기 제1 화소의 화소 위치이고,

   

   는 m번째 프레임에서의 상기 제1 화소의 화소값이며, 상기 m번째 프레임은 상기 제1 화소의 현재 프레임이고, (m+1)번째 프레임은 상기 제1 화소의 다음 프레임이며, 그리고

   

   는 (m+1) 번째 프레임에서의 상기 제1 화소의 화소값이고,
   상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 상기 계조도 노이즈 방지값에 따라, 수직 방향 계조도 변화값을 산출하는 단계는,
   상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:
   

   

   
   으로 상기 수평 방향 계조도 변화값을 산출하는 단계를 포함하며,
   

   

   는 상기 수평방향 계조도 변화값이며,

   

   는 상기 제1 화소의 계조도 노이즈 방지값이고,

   

   이고,

   

   는 상기 제1 화소가 수평 방향에서 상기 현재 프레임의 화소값

   

   으로부터 위로 이동하는 후에 획득되는 화소값이며,

   

   는 상기 제1 화소가 수평 방향에서 상기 현재 프레임의 화소값

   

   으로부터 아래로 이동한 후에 획득되는 화소값이고,

   

   는 상기 제1 화소가 수평 방향에서 상기 다음 프레임의 화소값

   

   으로부터 위로 이동한 후에 획득되는 화소값이며,

   

   는 상기 제1 화소가 수평 방향에서 상기 다음 프레임의 화소값

   

   으로부터 아래로 이동한 후에 획득되는 화소값이고,
   상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 상기 계조도 노이즈 방지값에 따라, 수직 방향 계조도 변화값을 산출하는 단계는,
   상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:
   

   

   
   으로 상기 수직 방향 계조도 변화값을 산출하는 단계를 포함하며,
   

   

   는 상기 수직방향 계조도 변화값이고,

   

   는 상기 제1 화소의 계조도 노이즈 방지값이며,

   

   이고,

   

   는 상기 제1 화소가 수직 방향에서 상기 현재 프레임의 화소값

   

   으로부터 위로 이동한 후에 획득되는 화소값이고,

   

   는 상기 제1 화소가 수직 방향에서 상기 현재 프레임의 화소값

   

   으로부터 아래로 이동한 후에 획득되는 화소값이며,

   

   는 상기 제1 화소가 수직 방향에서 상기 다음 프레임의 화소값

   

   으로부터 위로 이동한 후에 획득되는 화소값이고,

   

   는 상기 제1 화소가 수직 방향에서 상기 다음 프레임의 화소값

   

   으로부터 아래로 이동한 후에 획득되는 화소값이며; 그리고
   상기 휘도 변화값과 상기 수평방향 계조도 변화값과 상기 수직방향 계조도 변화값에 따라, 상기 제1 화소의 화소 유사성 매칭값을 산출하는 단계는,
   다음의 방식:
   

   

   
   으로 상기 제1 화소의 화소 유사성 매칭값을 산출하는 단계를 포함하며,

   

   는 상기 제1 화소의 화소 유사성 매칭값이고,

   

   는 상기 휘도 변화값이며,

   

   는 상기 수평방향 계조도 변화값이고,

   

   는 상기 수직방향 계조도 변화값인, 시간적 노이즈 감소 방법.
10. 제7항에 있어서,
    상기 노이즈 영상의 제1 섹션의 양자화 노이즈를 획득하는 단계 이후에,
    상기 노이즈 영상의 모든 N개의 섹션의 양자화 노이즈를 획득하는 단계; 및
    상기 N개의 섹션의 양자화 노이즈와 N개의 미리 설정된 양자화 문턱값을 비교하고, 상기 N개의 섹션의 양자화 노이즈를 (N+1)개의 노이즈 레벨로 분류하는 단계
    를 더 포함하며,
    상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라, 상기 제1 화소의 휘도 노이즈 방지값과 계조도 노이즈 방지값을 획득하는 단계는,
    상기 제1 섹션의 노이즈 레벨을 추출하고, 상기 노이즈 레벨과 상기 휘도 노이즈 방지값 사이의 양의 상관관계(positive correlation relationship)에 따라 상기 제1 화소의 상기 휘도 노이즈 방지값을 획득하며, 상기 노이즈 레벨과 상기 계조도 노이즈 방지값 사이의 양의 상관관계에 따라 상기 제1 화소의 상기 계조도 노이즈 방지값을 획득하는 단계
    를 포함하는, 시간적 노이즈 감소 방법.
11. 제1항에 있어서,
    상기 현재 프레임에서 상기 다음 프레임으로 변화하는 상기 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황에 따라, 상기 제1 화소가 이동 영역 또는 정지 영역에 있는지를 결정하는 단계는,
    상기 이동 추정 인접 지역의 상기 현재 프레임에서의 모든 화소의 화소 위치와 상기 이동 추정 인접 지역의 상기 다음 프레임에서의 모든 화소의 화소 위치에 따라, 상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들을 카운팅하는 단계;
    상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들의 수량과 이동/정지를 결정하기 위한 미리 설정된 문턱값을 비교하는 단계;
    상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들의 수량이 상기 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 크거나 같으면, 상기 제1 화소가 상기 정지 영역에 있는 것으로 결정하는 단계; 및
    상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들의 수량이 상기 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 작으면, 상기 제1 화소가 상기 이동 영역에 있는 것으로 결정하는 단계
    를 포함하는, 시간적 노이즈 감소 방법.
12. 제1항에 있어서,
    상기 제1 화소의 제1 프레임 차이와 미리 설정된 제1 프레임 차이 문턱값에 따라, 제1 혼합 계수를 선택하는 것은,
    상기 제1 화소의 제1 프레임 차이가 상기 미리 설정된 제1 프레임 차이 문턱값보다 작은지를 결정하는 단계;
    상기 제1 화소의 제1 프레임 차이가 상기 미리 설정된 제1 프레임 차이 문턱값보다 작거나 같으면, 상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라 상기 제1 혼합 계수를 선택하는 단계; 및
    상기 제1 화소의 제1 프레임 차이가 상기 미리 설정된 제1 프레임 차이 문턱값보다 크면, 상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라, 제1 프레임 차이 가중치 계수를 선택하고, 상기 제1 프레임 차이 문턱값과 상기 제1 화소의 제1 프레임 차이와 상기 제1 프레임 차이 가중치 계수에 따라 상기 제1 혼합 계수를 선택하는 단계
    를 포함하는, 시간적 노이즈 감소 방법.
13. 제1항에 있어서,
    상기 제1 혼합 계수와 상기 현재 프레임에서의 상기 제1 화소의 화소값과 이전 프레임에서의 상기 제1 화소의 이동 보상 화소값에 따라, 상기 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하는 단계는,
    다음의 방식:
    

    

    
    으로 상기 제1 화소에 대응하는 상기 제1 노이즈 감소 화소값을 산출하는 단계를 포함하고,
    

    

    는 상기 제1 화소에 대응하는 상기 제1 노이즈 감소 화소값이며,

    

    는 상기 현재 프레임에서의 상기 제1 화소에 대응하는 위치의 화소값이고, 이동 추정 및 이동 보상이 상기 이전 프레임에서의 상기 제1 화소의 상기 노이즈 감소 화소를 토대로 수행된 다음에 획득되며,

    

    는 상기 제1 혼합 계수이고,

    

    는 상기 현재 프레임에서의 상기 제1 화소의 화소값인, 시간적 노이즈 감소 방법.
14. 제1항에 있어서,
    상기 제2 혼합 계수와 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소값에 따라, 상기 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하는 단계는,
    다음의 방식:
    

    

    
    으로 상기 제1 화소에 대응하는 상기 제2 노이즈 감소 화소값을 산출하는 단계를 포함하며,
    

    

    는 상기 제1 화소에 대응하는 상기 제2 노이즈 감소 화소값이며,

    

    는 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소의 대응 위치의 화소값이고,

    

    는 상기 제2 혼합 계수이며,

    

    는 상기 현재 프레임에서의 상기 제1 화소의 화소값인, 시간적 노이즈 감소 방법.
15. 노이즈 영상에 대한 시간적 노이즈 감소 장치에 있어서,
    노이즈 영상의 제1 섹션의 양자화 노이즈를 획득하도록 구성되는 노이즈 획득 모듈 - 상기 제1 섹션은 상기 노이즈 영상으로부터 분할된 다수 섹션들 중의 하나임 -;
    화소가 현재 프레임의 화소 위치에서 다음 프레임으로 이동한 후에, 상기 제1 섹션의 양자화 노이즈에 따라, 다음 프레임의 이동 추정 인접 지역에서의 모든 화소들의 화소 위치를 검출하도록 구성되는 이동 추정 모듈 - 상기 이동 추정 인접 지역은 제1 화소를 중심으로 하는 인접 화소들을 포함하며, 상기 제1 화소는 상기 제1 섹션에서의 임의 화소임 -; 및
    상기 현재 프레임에서 상기 다음 프레임으로 변화하는 상기 이동 추정 인접 지역에서의 모든 화소의 화소 위치 변경 상황에 따라, 상기 제1 화소가 이동 영역에 있는지 또는 정지 영역에 있는지를 결정하고, 상기 제1 화소가 상기 이동 영역에 있으면 제1 혼합 계수 선택 모듈과 제1 시간적 노이즈 감소 모듈의 실행을 트리거(trigger)시키거나, 또는 상기 제1 화소가 상기 정지 영역에 있으면 제2 혼합 계수 선택 모듈과 제2 시간적 노이즈 감소 모듈의 실행을 트리거시키도록 구성되는, 이동/정지 결정 모듈
    을 포함하고,
    상기 제1 혼합 계수 선택 모듈은, 상기 제1 화소가 이동 영역에 있는 경우에, 상기 제1 화소의 제1 프레임 차이와 미리 설정된 제1 프레임 차이 문턱값에 따라, 제1 혼합 계수를 선택하도록 구성되고, 상기 제1 프레임 차이는 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 이동 보상 화소값 사이의 차이이며,
    상기 제1 시간적 노이즈 감소 모듈은, 상기 제1 혼합 계수와 상기 현재 프레임에서의 상기 제1 화소의 화소값과 이전 프레임에서의 상기 제1 화소의 이동 보상 화소값에 따라, 상기 제1 화소에 대응하는 제1 노이즈 감소 화소값을 산출하도록 구성되고, 상기 이동 보상 화소값은 상기 현재 프레임에서의 상기 제1 화소의 대응 위치의 화소값이며, 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소를 토대로 이동 추정 및 이동 보상이 수행된 후에 획득되고,
    상기 제2 혼합 계수 선택 모듈은, 상기 제1 화소가 정지 영역에 있는 경우에, 상기 제1 화소의 제2 프레임 차이와 미리 설정된 제2 프레임 차이 문턱값에 따라 제2 혼합 계수를 선택하도록 구성되고, 상기 제2 프레임 차이는 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소값 사이의 차이이며, 상기 제2 프레임 차이 문턱값은 상기 제1 프레임 차이 문턱값보다 크고,
    상기 제2 시간적 노이즈 감소 모듈은, 상기 제2 혼합 계수와 상기 현재 프레임에서의 상기 제1 화소의 화소값과 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소값에 따라, 상기 제1 화소에 대응하는 제2 노이즈 감소 화소값을 산출하도록 구성되고, 상기 노이즈 감소 화소값은 상기 이전 프레임에서의 상기 제1 화소의 상기 노이즈 감소 화소의 대응 위치의 화소값인, 시간적 노이즈 감소 장치.
16. 제15항에 있어서,
    상기 노이즈 획득 모듈은,
    상기 제1 섹션을 다수의 블록들로 분할하도록 구성되는 블록 분할 서브모듈 - 각 블록은 다수 화소를 포함함 -;
    제1 블록의 모든 화소의 양자화 노이즈를 획득하고, 상기 제1 블록의 모든 화소의 양자화 노이즈에 따라 상기 제1 블록의 양자화 노이즈를 획득하며, 상기 제1 섹션에서 상기 제1 블록을 제외한 모든 블록들의 양자화 노이즈를 개별적으로 획득하도록 구성되는 양자화 노이즈 획득 서브모듈 - 상기 제1 블록은 상기 제1 섹션의 임의 블록임 -; 및
    상기 제1 섹션의 모든 블록의 양자화 노이즈를 토대로 평균 양자화 노이즈를 산출하고, 상기 평균 양자화 노이즈를 상기 제1 섹션의 양자화 노이즈로 사용하거나, 또는 상기 제1 섹션에서 모든 블록의 양자화 노이즈들을 하나씩 누적하고 누적 히스토그램에서 미리 설정된 노이즈 문턱값보다 큰 양자화 노이즈를 상기 제1 섹션의 양자화 노이즈로 사용하도록 구성되는 섹션 노이즈 획득 서브모듈
    를 포함하는, 시간적 노이즈 감소 장치.
17. 제16항에 있어서,
    상기 양자화 노이즈 획득 서브모듈은,
    상기 제1 블록의 각 화소가 편평한 영역에 있는지를 결정하도록 구성되는 영역 결정 유닛(unit);
    상기 제1 블록에서 상기 편평한 영역에 있는 모든 화소의 양자화 노이즈를 획득하도록 구성되는 편평한 영역 양자화값 획득 유닛; 및
    상기 제1 블록에서 상기 편평한 영역에 있는 모든 화소의 양자화 노이즈에 따라 상기 제1 블록의 양자화 노이즈를 산출하도록 구성되는 블록 양자화값 획득 유닛
    을 포함하는, 시간적 노이즈 감소 장치.
18. 제17항에 있어서,
    상기 영역 결정 유닛은,
    노이즈 추정 인접 지역의 모든 화소의 화소값을 획득하도록 구성되는 화소값 획득 서브유닛(subunit) - 상기 노이즈 추정 인접 지역은 상기 제1 화소를 중심으로 하며, 상기 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 상기 제1 화소는 상기 제1 블록에서의 임의 화소임 -;
    상기 노이즈 추정 인접 지역의 모든 화소의 화소값과 소벨 에지 컨볼루션 커널에 따라, 상기 제1 화소의 에지 추정값을 산출하도록 구성되는 에지 추정 서브유닛;
    상기 제1 화소의 에지 추정값이 에지 영역 문턱값보다 큰지를 결정하며, 상기 제1 화소의 에지 추정값이 상기 에지 영역 문턱값보다 크면 상기 제1 화소가 에지 영역에 있는 것으로 결정하거나, 또는, 상기 제1 화소의 에지 추정값이 상기 에지 영역 문턱값보다 작거나 같으면 상기 제1 화소가 상기 에지 영역에 있지 않은 것으로 결정하도록 구성되는 에지 영역 결정 서브유닛;
    상기 노이즈 추정 인접 지역의 모든 화소의 화소값에 따라 상기 제1 화소의 텍스쳐 추정값을 산출하도록 구성되는 텍스쳐 추정 서브유닛;
    상기 제1 화소의 텍스쳐 추정값이 텍스쳐 영역 문턱값보다 큰지를 결정하고, 상기 제1 화소의 텍스쳐 추정값이 상기 텍스쳐 영역 문턱값보다 크면 상기 제1 화소가 텍스쳐 영역에 있는 것으로 결정하거나, 또는 상기 제1 화소의 텍스쳐 추정값이 상기 텍스쳐 영역 문턱값보다 작거나 같으면 상기 제1 화소가 상기 텍스쳐 영역에 있지 않은 것으로 결정하도록 구성되는 텍스쳐 영역 결정 서브유닛; 및
    상기 제1 화소가, 상기 제1 화소가 상기 에지 영역에 있지 않은 조건과 상기 제1 화소가 상기 텍스쳐 영역에 있지 않은 조건을 모두 만족하면, 상기 제1 화소가 상기 편평한 영역에 있는 것으로 결정하도록 구성되는 편평한 영역 결정 서브유닛
    을 포함하는, 시간적 노이즈 감소 장치.
19. 제18항에 있어서,
    상기 에지 추정 서브유닛은, 구체적으로, 다음의 방식:
    
    으로 상기 제1 화소의 상기 에지 추정값을 산출하도록 구성되고,
    (x,y)는 상기 현재 프레임에서의 상기 제1 화소의 화소 위치이며, EM(x,y)는 상기 제1 화소의 상기 에지 추정값이고, NH(x,y)는 상기 노이즈 추정 인접 지역이며, E_h, E_v, E_p45, 및 E_n45는 상기 소벨 에지 컨볼루션 커널이고, 그리고 *는 컨볼루션 심볼이며,
    상기 텍스쳐 추정 서브유닛은, 구체적으로 다음의 방식:
    

    

    ,

    

    
    으로 상기 제1 화소의 상기 텍스쳐 추정값을 산출하도록 구성되고,
    (x,y)는 상기 현재 프레임에서의 상기 제1 화소의 화소 위치이며, Noise_Max_Min(x,y)는 상기 제1 화소의 상기 텍스쳐 추정값이고, value_i는 상기 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 상기 노이즈 추정 인접 지역이고, 그리고 value_medium는 NH(x,y)의 모든 화소의 화소값들의 중간(middle) 값 또는 평균값이며,
    상기 편평한 영역 결정 서브유닛은, 다음의 방식:
    

    

    ,
    으로, 상기 제1 화소가, 상기 제1 화소가 상기 에지 영역에 있지 않은 조건과 상기 제1 화소가 상기 텍스쳐 영역에 있지 않은 조건을 모두 만족하는지를 결정하도록 구성되며,
    EM(x,y)는 상기 제1 화소의 에지 추정값이며, EGth는 상기 에지 영역 문턱값이고, Noise_Max_Min(x,y)는 상기 제1 화소의 텍스쳐 추정값이며, 그리고 MHth는 상기 텍스쳐 영역 문턱값인, 시간적 노이즈 감소 장치.
20. 제16항에 있어서,
    상기 양자화 노이즈 획득 서브모듈은, 구체적으로, 노이즈 추정 인접 지역에서 모든 화소의 화소값을 획득하고, 다음의 방식:
    

    

    
    으로 상기 제1 화소의 양자화 노이즈를 산출하도록 구성되며,
    (x,y)는 상기 현재 프레임에서 상기 제1 화소의 화소 위치이며, pixel_noise(x,y)는 상기 제1 화소의 양자화 노이즈이고, value_i는 상기 노이즈 추정 인접 지역에서 i번째 화소값이며, NH(x,y)는 상기 노이즈 추정 인접 지역이며, 그리고 value_median는 NH(x,y)의 모든 화소의 중간값 또는 평균값이며,
    상기 노이즈 추정 인접 지역은 상기 제1 화소를 중심으로 하고 상기 제1 화소의 양자화 노이즈를 결정하는 데 사용되는 인접 화소들을 포함하며, 상기 제1 화소는 상기 제1 블록의 임의 화소인, 시간적 노이즈 감소 장치.
21. 제15항에 있어서,
    상기 이동 추정 모듈은,
    상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라, 상기 제1 화소의 휘도 노이즈 방지값과 계조도 노이즈 방지값을 획득하도록 구성되는 노이즈 방지값 획득 서브모듈; 및
    상기 제1 화소의 상기 휘도 노이즈 방지값과 상기 계조도 노이즈 방지값, 그리고 상기 현재 프레임에서의 화소 위치에서 상기 제1 화소의 화소값에 따라, 상기 제1 화소에 대해 이동 검출을 수행하여 상기 다음 프레임에서의 상기 제1 화소의 화소 위치를 획득하도록 구성되는 이동 검출 서브모듈
    을 포함하는, 시간적 노이즈 감소 장치.
22. 제21항에 있어서,
    상기 이동 검출 서브모듈은,
    상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 휘도 노이즈 방지값에 따라 휘도 변화값을 산출하도록 구성되는 휘도 산출 유닛;
    상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 상기 계조도 노이즈 방지값에 따라, 수평 방향 계조도 변화값을 산출하도록 구성되는 수평 계조도 산출 유닛;
    상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 상기 제1 화소의 상기 계조도 노이즈 방지값에 따라, 수직 방향 계조도 변화값을 산출하도록 구성되는 수직 계조도 산출 유닛;
    상기 휘도 변화값과 상기 수평방향 계조도 변화값과 상기 수직방향 계조도 변화값에 따라, 상기 제1 화소의 화소 유사성 매칭값을 산출하도록 구성되는 유사성 매칭값 산출 유닛; 및
    상기 화소 유사성 매칭값의 최소값이 획득되는 경우, 상기 다음 프레임에서의 상기 제1 화소의 화소 위치를 산출하도록 구성되는 화소 위치 산출 유닛
    을 포함하는, 시간적 노이즈 감소 장치.
23. 제22항에 있어서,
    상기 휘도 산출 유닛은 구체적으로, 상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:
    

    

    
    으로 상기 휘도 변화값을 산출하도록 구성되며,
    

    

    는 상기 휘도 변화값이고,

    

    는 상기 제1 화소의 상기 휘도 노이즈 방지값이며,

    

    이고, (x,y)는 상기 현재 프레임에서의 상기 제1 화소의 화소 위치이고,

    

    는 m번째 프레임에서의 상기 제1 화소의 화소값이며, 상기 m번째 프레임은 상기 제1 화소의 현재 프레임이고, (m+1)번째 프레임은 상기 제1 화소의 다음 프레임이며, 그리고

    

    는 (m+1) 번째 프레임에서의 상기 제1 화소의 화소값이고,
    상기 수평 계조도 산출 유닛은, 구체적으로, 상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:
    

    

    
    으로 상기 수평 방향 계조도 변화값을 산출하도록 구성되며,
    

    

    는 상기 수평방향 계조도 변화값이며,

    

    는 상기 제1 화소의 계조도 노이즈 방지값이고,

    

    이고,

    

    는 상기 제1 화소가 수평 방향에서 상기 현재 프레임의 화소값

    

    으로부터 위로 이동하는 후에 획득되는 화소값이며,

    

    는 상기 제1 화소가 수평 방향에서 상기 현재 프레임의 화소값

    

    으로부터 아래로 이동한 후에 획득되는 화소값이고,

    

    는 상기 제1 화소가 수평 방향에서 상기 다음 프레임의 화소값

    

    으로부터 위로 이동한 후에 획득되는 화소값이며,

    

    는 상기 제1 화소가 수평 방향에서 상기 다음 프레임의 화소값

    

    으로부터 아래로 이동한 후에 획득되는 화소값이고,
    상기 수직 계조도 산출 유닛은, 구체적으로, 상기 제1 화소가 상기 현재 프레임에서의 화소 위치에서 상기 다음 프레임에서의 화소 위치로 이동하는 경우, 다음의 방식:
    

    

    
    으로 상기 수직 방향 계조도 변화값을 산출하도록 구성되며,
    

    

    는 상기 수직방향 계조도 변화값이고,

    

    는 상기 제1 화소의 계조도 노이즈 방지값이며,

    

    이고,

    

    는 상기 제1 화소가 수직 방향에서 상기 현재 프레임의 화소값

    

    으로부터 위로 이동한 후에 획득되는 화소값이고,

    

    는 상기 제1 화소가 수직 방향에서 상기 현재 프레임의 화소값

    

    으로부터 아래로 이동한 후에 획득되는 화소값이며,

    

    는 상기 제1 화소가 수직 방향에서 상기 다음 프레임의 화소값

    

    으로부터 위로 이동한 후에 획득되는 화소값이고,

    

    는 상기 제1 화소가 수직 방향에서 상기 다음 프레임의 화소값

    

    으로부터 아래로 이동한 후에 획득되는 화소값이며; 그리고
    상기 유사성 매칭값 산출 유닛은, 구체적으로, 다음의 방식:
    

    

    
    으로 상기 제1 화소의 화소 유사성 매칭값을 산출하도록 구성되며,
    

    

    는 상기 제1 화소의 화소 유사성 매칭값이고,

    

    는 상기 휘도 변화값이며,

    

    는 상기 수평방향 계조도 변화값이고,

    

    는 상기 수직방향 계조도 변화값인, 시간적 노이즈 감소 장치.
24. 제21항에 있어서,
    상기 노이즈 획득 모듈은 추가로,
    상기 노이즈 영상의 모든 N개의 섹션의 양자화 노이즈를 획득하고, 상기 N개의 섹션의 양자화 노이즈와 N개의 미리 설정된 양자화 문턱값을 비교하고, 상기 N개의 섹션의 양자화 노이즈를 (N+1)개의 노이즈 레벨로 분류하도록 구성되며,
    상기 노이즈 방지값 획득 서브모듈은, 구체적으로,
    상기 제1 섹션의 노이즈 레벨을 추출하고, 상기 노이즈 레벨과 상기 휘도 노이즈 방지값 사이의 양의 상관관계에 따라 상기 제1 화소의 상기 휘도 노이즈 방지값을 획득하며, 상기 노이즈 레벨과 상기 계조도 노이즈 방지값 사이의 양의 상관관계에 따라 상기 제1 화소의 상기 계조도 노이즈 방지값을 획득하도록 구성되는, 시간적 노이즈 감소 장치.
25. 제15항에 있어서,
    상기 이동/정지 결정 모듈은,
    상기 이동 추정 인접 지역의 상기 현재 프레임에서의 모든 화소의 화소 위치와 상기 이동 추정 인접 지역의 상기 다음 프레임에서의 모든 화소의 화소 위치에 따라, 상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들을 카운팅하도록 구성되는 카운팅 서브모듈;
    상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들의 수량과 이동/정지를 결정하기 위한 미리 설정된 문턱값을 비교하도록 구성되는 이동/정지결정 서브모듈;
    상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들의 수량이 상기 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 크거나 같으면, 상기 제1 화소가 상기 정지 영역에 있는 것으로 결정하도록 구성되는 정지 결정 서브모듈; 및
    상기 이동 추정 인접 지역에서의 상기 정지 영역의 화소들의 수량이 상기 이동/정지를 결정하기 위한 미리 설정된 문턱값보다 작으면, 상기 제1 화소가 상기 이동 영역에 있는 것으로 결정하도록 구성되는 이동 결정 서브모듈
    을 포함하는, 시간적 노이즈 감소 장치.
26. 제15항에 있어서,
    상기 제1 혼합 계수 선택 모듈은,
    상기 제1 화소의 제1 프레임 차이가 상기 미리 설정된 제1 프레임 차이 문턱값보다 작은지를 결정하도록 구성되는 제1 프레임 차이 결정 서브모듈;
    상기 제1 화소의 제1 프레임 차이가 상기 미리 설정된 제1 프레임 차이 문턱값보다 작거나 같으면, 상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라 상기 제1 혼합 계수를 선택하도록 구성되는 제1 선택 서브모듈; 및
    상기 제1 화소의 제1 프레임 차이가 상기 미리 설정된 제1 프레임 차이 문턱값보다 크면, 상기 제1 화소가 속하는 상기 제1 섹션의 양자화 노이즈에 따라, 제1 프레임 차이 가중치 계수를 선택하고, 상기 제1 프레임 차이 문턱값과 상기 제1 화소의 제1 프레임 차이와 상기 제1 프레임 차이 가중치 계수에 따라 상기 제1 혼합 계수를 선택하도록 구성되는 제2 선택 서브모듈
    을 포함하는, 시간적 노이즈 감소 장치.
27. 제15항에 있어서,
    상기 제1 시간적 노이즈 감소 모듈은, 구체적으로,
    다음의 방식:
    

    

    
    으로 상기 제1 화소에 대응하는 상기 제1 노이즈 감소 화소값을 산출하도록 구성되며,
    

    

    는 상기 제1 화소에 대응하는 상기 제1 노이즈 감소 화소값이며,

    

    는 상기 현재 프레임에서의 상기 제1 화소에 대응하는 위치의 화소값이고, 이동 추정 및 이동 보상이 상기 이전 프레임에서의 상기 제1 화소의 상기 노이즈 감소 화소를 토대로 수행된 다음에 획득되며,

    

    는 상기 제1 혼합 계수이고,

    

    는 상기 현재 프레임에서의 상기 제1 화소의 화소값인, 시간적 노이즈 감소 장치.
28. 제15항에 있어서,
    상기 제2 시간적 노이즈 감소 모듈은, 구체적으로,
    다음의 방식:
    

    

    
    으로 상기 제1 화소에 대응하는 상기 제2 노이즈 감소 화소값을 산출하도록 구성되며,
    

    

    는 상기 제1 화소에 대응하는 상기 제2 노이즈 감소 화소값이며,

    

    는 상기 이전 프레임에서의 상기 제1 화소의 노이즈 감소 화소의 대응 위치의 화소값이고,

    

    는 상기 제2 혼합 계수이며,

    

    는 상기 현재 프레임에서의 상기 제1 화소의 화소값인, 시간적 노이즈 감소 장치.
    

Images