KR101306242B1 - 영상의 시간적 잡음 제거 방법 및 장치 - Google Patents

영상의 시간적 잡음 제거 방법 및 장치 Download PDF

Info

Publication number
KR101306242B1
KR101306242B1 KR1020120030416A KR20120030416A KR101306242B1 KR 101306242 B1 KR101306242 B1 KR 101306242B1 KR 1020120030416 A KR1020120030416 A KR 1020120030416A KR 20120030416 A KR20120030416 A KR 20120030416A KR 101306242 B1 KR101306242 B1 KR 101306242B1
Authority
KR
South Korea
Prior art keywords
pixel
value
filter unit
temporal
motion
Prior art date
Application number
KR1020120030416A
Other languages
English (en)
Inventor
민창기
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020120030416A priority Critical patent/KR101306242B1/ko
Priority to US13/848,568 priority patent/US9002129B2/en
Application granted granted Critical
Publication of KR101306242B1 publication Critical patent/KR101306242B1/ko

Links

Images

Classifications

    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Abstract

영상의 시간적 잡음 제거 방법 및 장치가 개시된다. 영상의 시간적 잡음 제거 장치는, 현재 프레임의 N x M의 배열의 화소값(CP)과 TP 거리 만큼 이격된 인접 프레임에서 동일한 위치에 존재하는 N x M의 배열의 화소값(FP)을 이용하여 시간 필터링(temporal filtering)을 수행하는 시간적 필터 유닛; 및 상기 시간적 필터 유닛의 결과값에서 화소 영상의 움직임을 검출하여 움직임이 많은 화소의 잡음을 공간 필터(spatial filter)를 이용하여 제거하는 움직임 필터 유닛을 포함할 수 있다. 본 발명에 의해, 영상의 잡음을 효과적으로 제거하여 영상 화질 저하를 방지하고 후처리 기술의 성능을 향상시킬 수 있다.

Description

영상의 시간적 잡음 제거 방법 및 장치{Method and device for reducing temporal noise for image}
본 발명은 영상의 시간적 잡음 제거 방법 및 장치에 관한 것이다.
일반적으로 영상 센서에서 영상을 획득하는 과정, 획득된 영상 정보가 채널을 통해 전송되는 과정 등에서 필수적으로 잡음(noise)이 부가된다. 따라서, 부가된 잡음을 제거하기 위해 공간적(2D) 잡음 제거 기술, 시간적 잡음 제거 기술 및 공간적 잡음 제거 기술과 시간적 잡음 제거 기술을 조합한 시공간적(3D) 잡음 제거 기술 등과 같이 다양한 잡음 제거 기술들이 개발되고 있다. 참고로, 공간적 잡음 제거 기술은 영상의 인접한 화소(pixel) 간의 높은 상관성을 이용하여 잡음을 제거하기 위한 기술이고, 시간적 잡음 제거 기술은 인접한 프레임간의 높은 상관성을 이용하여 잡음을 제거하기 위한 기술이다.
이러한 잡음 제거 기술을 이용하여 영상 잡음을 제거하기 위한 선출원들로는 특허출원 제2006-0115422호(영상잡음제거방법 및 장치), 특허출원 제2010-7028204호(잡음 제거를 위한 통합 시간 필터를 구비한 비디오 인코더) 등이 있다. 또한 관련 논문으로는 G. de Haan, T. G. Kwaaitaal-Spassova, and O. A. Ojo, "Automatic 2-D and 3-D noise filtering for television receivers," Proc. Int. Workshop HDTV '94, Oct. 1994. 등이 있다.
영상 정보의 획득, 전송 등의 과정에서 부가되는 잡음은 영상의 화질을 열화시키는 원인이 될 뿐 아니라, 데이터 전송을 위한 영상 압축 기법의 성능을 저하시키고, 인식 처리와 같은 후처리 기술의 성능을 저하시키는 원인도 된다.
따라서, 영상의 잡음을 효과적으로 제거하여 영상 화질 저하를 방지하고 후처리 기술의 성능을 향상시키기 위해서는 잡음의 제거가 필수적이다.
종래기술에 따른 시간적 잡음 제거 기술은 하기 수학식 1을 기반으로 잡음 제거를 수행한다.
Figure 112012023904061-pat00001
수학식 1에서 FT(t)는 잡음이 제거된 화소를 나타내고, λ는 필터 컨트롤 파라미터를 나타내며, FS(t)는 잡음이 존재하는 화소를 나타내고, FF(t-TP)는 이전에 필터링된 프레임으로서 시간 TP 만큼 떨어져 있는 프레임내에서 동일한 위치에 존재하는 화소를 나타낸다.
수학식 1은 필터 컨트롤 파라미터인 λ에 따라 그 성능이 달라지는데 일반적으로 움직임이 클수록 λ는 1에 근접하여 필터의 강도가 약해지게 되고, 움직임이 작을수록 시간 방향의 연관성이 크므로 필터의 강도가 강하게 된다.
필터 성능에 가장 중요한 성분인 λ를 정확하게 계산하기 위해 현재 많은 연구들이 진행 중이다. λ를 구하는 대표적인 방법은 하기 수학식 2와 같다.
Figure 112012023904061-pat00002
Figure 112012023904061-pat00003
수학식 2에서 a0, a1, a2와 TH0, TH1은 사용자가 임의로 정의하는 사용자 정의값이고, e는 화소들의 절대적 차에 대한 SAD(Sum of Absolute Difference)를 의미한다. 구체적으로, F(x,y)(t)는 t시간의 프레임의 (x,y) 좌표의 화소를 의미하고, N과 M은 배열의 크기인 NxM에 해당하는 값들이며, TP는 계산을 하는 프레임간의 거리를 나타낸다. 즉, e는 잡음을 제거하려는 화소의 위치를 중심으로 NxM 크기의 배열과 TP만큼 떨어져 있는 프레임의 같은 위치의 배열의 절대적 차를 계산한 것이다.
전술한 a0, a1, a2, TH0, TH1와 같은 사용자 정의값을 지정하는 방법과 그 이용에 대해 간략히 예를 들어 설명한다. 참고로, 영상에 잡음은 랜덤하게 나타나기 때문에, 시간 필터(Temporal Filter)는 현재 프레임의 임의의 화소에 잡음이 섞여 있을 때 인접한 프레임의 동일 위치에 있는 화소는 잡음이 섞여 있지 않을 확률이 높다고 가정하고 두 화소의 가중치 합을 통해 잡음을 억제하는 기술을 이용한 필터이다.
일반적으로 TH0, TH1의 범위는 e의 범위와 같다. 예를 들어 적용하려는 화소의 범위가 0~255이고, 배열의 크기가 3x3으로 가정하면 e의 범위는 0~255 x 9의 범위를 가진다.
만일 사용자가 TH0를 120으로 지정하고 TH1을 200으로 지정하였으며, a0 = 0.2, a1 = 0.5, a2 = 0.8으로 각각 지정한 경우, 임의의 화소 X를 중심으로 SAD를 계산한 결과값이 100이었다면 계산된 SAD 가 e=0 부터 TH0까지의 범위 내에 위치하므로 전술한 수학식 2에 의해 λ는 a0인 0.2로 결정된다. 이와 같이 계산된 λ를 이용하여 전술한 수학식 1에 따른 잡음 제거가 수행된다.
참고로, a0, a1, a2는 a0< a1< a2의 크기 관계를 가지도록 설정되며, 이는 SAD값이 작은 경우 비교하는 배열끼리 비슷한 값들의 구성을 가지고 있어 움직임이 없다고 판단하여 두 화소를 섞을 때 F(x,y)(t-TP)에 가중치를 높게 하여 F(x,y)(t-TP)에 더 유사한 화소로 만들기 위한 것이다. 이와 반대로, 만약 움직임이 크다면 SAD는 큰 값을 가지게 되고 F(x,y)(t-TP)에 대한 가중치를 적게 하여 현재의 상태에서 큰 변화가 없게 하기 위한 것이다.
전술한 방법을 이용하여 종래기술에 따른 시간 필터(temporal filter)는 영상의 움직임을 고려하여 필터의 강도를 조절하지만, 움직임이 있는 영역에서 잔상이 발생하여 오히려 화질을 저하시키는 문제점이 있었다. 특히 일반적인 카메라와 같이 고정되지 않은 상태에서 이용되는 카메라에 전술한 방법을 적용하면 영상 전체에 잔상 현상이 발생하여 화질이 크게 저하되는 문제점이 있었다.
또한 종래기술에 따른 시간적 잡음 제거 기술은 영상 전체에 대해 필터링을 수행하기 때문에 잘못된 e값이 설정되는 경우 잡음이 없는 정상적인 화소에 잡음을 섞어주는 현상이 발생되는 문제점도 있었다.
따라서 카메라 시스템의 화질을 효과적으로 향상시킬 수 있고, 종래기술에 따른 시간 필터에서 야기되는 모션 블러링(motion blurring) 현상을 감소시킬 수 있는 시간적 잡음 제거 기술이 요구된다.
본 발명은 영상의 잡음을 효과적으로 제거하여 영상 화질 저하를 방지하고 후처리 기술의 성능을 향상시킬 수 있는 영상의 시간적 잡음 제거 방법 및 장치를 제공하기 위한 것이다.
본 발명은 카메라 시스템의 화질을 효과적으로 향상시킬 수 있고, 종래기술에 따른 시간 필터에서 야기되는 모션 블러링(motion blurring) 현상을 감소시킬 수 있는 영상의 시간적 잡음 제거 방법 및 장치를 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 영상의 시간적 잡음 제거 장치에 있어서, 현재 프레임의 N x M의 배열의 화소값(CP)과 TP 거리 만큼 이격된 인접 프레임에서 동일한 위치에 존재하는 N x M의 배열의 화소값(FP)을 이용하여 시간 필터링(temporal filtering)을 수행하는 시간적 필터 유닛; 및 상기 시간적 필터 유닛의 결과값에서 화소 영상의 움직임을 검출하여 움직임이 많은 화소의 잡음을 공간 필터(spatial filter)를 이용하여 제거하는 움직임 필터 유닛을 포함하는 영상의 시간적 잡음 제거 장치가 제공된다.
상기 시간적 필터 유닛은, 현재 프레임의 NxM의 배열의 화소값(CP)에 대해 인접 화소의 화소값을 참조하여 잡음이 존재하는 화소의 잡음을 제거하는 공간 필터(spatial filter); 및 상기 현재 프레임의 NxM의 배열의 화소값(CP), 상기 공간 필터의 결과값(SF), 상기 인접 프레임에서 동일 위치에 존재하는 NxM의 배열의 화소값(FP)을 이용하여 수학식
Figure 112012023904061-pat00004
에 의해 산출된 제1 차분 절대값(difp)과 수학식
Figure 112012023904061-pat00005
에 의해 산출된 제2 차분 절대값(difc)의 차가 미리 지정된 제0 사용자 정의값(TH0) 이하인 제1 조건을 만족할 때에만 상기 시간 필터링을 수행하는 선택적 시간 필터(selective temporal filter)를 포함할 수 있다.
상기 제1 조건을 만족하는 경우, 필터 컨트롤 파라미터(λ)와 상기 시간 필터링에 의해 잡음이 제거된 화소값 FT(t)은 하기 수학식
Figure 112012023904061-pat00006
에 의해 각각 산출될 수 있다.
상기 움직임 필터 유닛은 하기 수학식에 의해 산출된 화소들의 절대적 차에 대한 SAD(Sum of Absolute Difference)가 미리 지정된 제1 사용자 정의값(TH1) 이상인 경우에만 움직임 있는 화소로 판단하는 움직임 추정 및 판단부를 포함할 수 있다.
Figure 112012023904061-pat00007
여기서, F(x+n,y+m)(t)는 t시간의 프레임의 (x+n,y+m) 좌표의 화소를 의미하고, N과 M은 배열의 크기인 NxM에 해당하는 값으로 각각 임의의 자연수이며, TP는 계산을 하는 프레임간의 거리를 의미함.
상기 움직임 추정 및 판단부의 판단에 의해 움직임 있는 화소로 판단된 경우, 수학식
Figure 112012023904061-pat00008
을 이용하여 상기 움직임 추정 및 판단부에 입력된 화소값(Ori)과 공간 필터(spatial filter)에 의해 공간 필터링된 결과값(SFcur)을 가중합 산출하여 출력하는 믹스부를 더 포함하되, 상기 TH2는 미리 지정된 제2 사용자 정의값일 수 있다.
상기 움직임 추정 및 판단부의 판단에 의해 움직임 없는 화소로 판단된 경우, 상기 시간적 필터 유닛에 의해 필터링되어 입력된 입력값 및 상기 인접 프레임에서 동일한 위치에 존재하는 N x M의 배열의 화소값에 대해 각각 공간 필터링된 결과값을 평균 연산하는 평균 연산부; 상기 현재 프레임의 NxM의 배열의 화소값(CP), 상기 평균 연산부의 결과값(SF'), 상기 인접 프레임에서 동일 위치에 존재하는 NxM의 배열의 화소값(FP)을 이용하여 수학식
Figure 112012023904061-pat00009
에 의해 산출된 제1 차분 절대값(difp)과 수학식
Figure 112012023904061-pat00010
에 의해 산출된 제2 차분 절대값(difc)의 차가 미리 지정된 제6 사용자 정의값(TH6) 이하인 제2 조건을 만족할 때에만 상기 시간 필터링을 수행하는 선택적 시간 필터(selective temporal filter); 및 수학식
Figure 112012023904061-pat00011
을 이용하여 상기 선택적 시간 필터에 의해 필터링된 결과값(STF_out)과 상기 움직임 추정 및 판단부로부터 입력되는 화소값(Inputcur)을 가중합 산출하여 출력하는 믹스부를 더 포함하되, 상기 TH5는 미리 지정된 제5 사용자 정의값일 수 있다.
상기 제1 조건을 만족하는 경우, 필터 컨트롤 파라미터(λ)와 상기 시간 필터링에 의해 잡음이 제거된 화소값 FT(t)은 하기 수학식
Figure 112012023904061-pat00012
에 의해 각각 산출될 수 있다.
상기 움직임 필터 유닛 및 상기 시간적 필터 유닛 중 어느 하나로부터 입력된 입력값에 대해 소정의 엣지 강도(edge strength) 산출 방법을 이용하여 엣지 강도를 산출하여 엣지 화소인지 여부를 판단하는 엣지 검출 및 판단부; 및 엣지 화소인 것으로 판단된 경우에만, 수학식
Figure 112012023904061-pat00013
을 이용하여 상기 현재 프레임의 화소값(Ori')과 상기 움직임 필터 유닛 및 상기 시간적 필터 유닛 중 어느 하나로부터 입력된 입력값(Fcur)을 가중합 산출하여 출력하는 믹스부를 가지는 엣지 필터 유닛을 더 포함하되, 상기 TH4는 미리 지정된 제4 사용자 정의값일 수 있다.
연결 구조상 선행하는 필터 유닛과 후행하는 필터 유닛 간에는 M/2을 올림한 라인(line) 만큼의 딜레이(delay)를 가지고 순차적인 필터링을 수행할 수 있다.
본 발명의 다른 측면에 따르면, 영상의 시간적 잡음 제거 방법에 있어서, (a) 시간적 필터 유닛이 현재 프레임의 N x M의 배열의 화소값(CP)과 TP 거리 만큼 이격된 인접 프레임에서 동일한 위치에 존재하는 N x M의 배열의 화소값(FP)을 이용하여 시간 필터링(temporal filtering)을 수행하여 결과값을 출력하는 단계; 및 (b) 움직임 필터 유닛이 상기 시간적 필터 유닛의 결과값에서 화소 영상의 움직임을 검출하여 움직임이 많은 화소의 잡음을 공간 필터(spatial filter)를 이용하여 제거하는 단계를 포함하는 영상의 시간적 잡음 제거 방법이 제공된다.
상기 단계 (a)는, 상기 시간적 필터 유닛에 구비된 공간 필터(spatial filter)가 현재 프레임의 NxM의 배열의 화소값(CP)에 대해 인접 화소의 화소값을 참조하여 잡음이 존재하는 화소의 잡음을 제거하는 단계; 및 상기 시간적 필터 유닛에 구비된 선택적 시간 필터(selective temporal filter)가 상기 현재 프레임의 NxM의 배열의 화소값(CP), 상기 공간 필터의 결과값(SF), 상기 인접 프레임에서 동일 위치에 존재하는 NxM의 배열의 화소값(FP)을 이용하여 수학식
Figure 112012023904061-pat00014
에 의해 산출된 제1 차분 절대값(difp)과 수학식
Figure 112012023904061-pat00015
에 의해 산출된 제2 차분 절대값(difc)의 차가 미리 지정된 제0 사용자 정의값(TH0) 이하인 제1 조건을 만족할 때에만 상기 시간 필터링을 수행하는 단계를 포함할 수 있다.
상기 제1 조건을 만족하는 경우, 필터 컨트롤 파라미터(λ)와 상기 시간 필터링에 의해 잡음이 제거된 화소값 FT(t)은 하기 수학식
Figure 112012023904061-pat00016
에 의해 각각 산출될 수 있다.
상기 움직임 필터 유닛에 구비된 움직임 추정 및 판단부는 하기 수학식에 의해 산출된 화소들의 절대적 차에 대한 SAD(Sum of Absolute Difference)가 미리 지정된 제1 사용자 정의값(TH1) 이상인 경우에만 움직임 있는 화소로 판단할 수 있다.
Figure 112012023904061-pat00017
여기서, F(x+n,y+m)(t)는 t시간의 프레임의 (x+n,y+m) 좌표의 화소를 의미하고, N과 M은 배열의 크기인 NxM에 해당하는 값으로 각각 임의의 자연수이며, TP는 계산을 하는 프레임간의 거리를 의미함.
상기 움직임 추정 및 판단부의 판단에 의해 움직임 있는 화소로 판단된 경우, 수학식
Figure 112012023904061-pat00018
을 이용하여 상기 움직임 추정 및 판단부에 입력된 화소값(Ori)과 공간 필터(spatial filter)에 의해 공간 필터링된 결과값(SFcur)을 가중합 산출하여 출력하는 단계가 더 수행되되, 상기 TH2는 미리 지정된 제2 사용자 정의값일 수 있다.
상기 움직임 추정 및 판단부의 판단에 의해 움직임 없는 화소로 판단된 경우, 상기 단계 (b)는, 상기 움직임 필터 유닛에 구비된 평균 연산부가 상기 시간적 필터 유닛에 의해 필터링되어 입력된 입력값 및 상기 인접 프레임에서 동일한 위치에 존재하는 N x M의 배열의 화소값에 대해 각각 공간 필터링된 결과값을 평균 연산하는 단계; 상기 움직임 필터 유닛에 구비된 선택적 시간 필터(selective temporal filter)가 상기 현재 프레임의 NxM의 배열의 화소값(CP), 상기 평균 연산부의 결과값(SF'), 상기 인접 프레임에서 동일 위치에 존재하는 NxM의 배열의 화소값(FP)을 이용하여 수학식
Figure 112012023904061-pat00019
에 의해 산출된 제1 차분 절대값(difp)과 수학식
Figure 112012023904061-pat00020
에 의해 산출된 제2 차분 절대값(difc)의 차가 미리 지정된 제6 사용자 정의값(TH6) 이하인 제2 조건을 만족할 때에만 상기 시간 필터링을 수행하는 단계; 및 상기 움직임 필터 유닛에 구비된 믹스부가 수학식
Figure 112012023904061-pat00021
을 이용하여 상기 선택적 시간 필터에 의해 필터링된 결과값(STF_out)과 상기 움직임 추정 및 판단부로부터 입력되는 화소값(Inputcur)을 가중합 산출하여 출력하는 단계를 포함하되, 상기 TH5는 미리 지정된 제5 사용자 정의값일 수 있다.
상기 제1 조건을 만족하는 경우, 필터 컨트롤 파라미터(λ)와 상기 시간 필터링에 의해 잡음이 제거된 화소값 FT(t)은 하기 수학식
Figure 112012023904061-pat00022
에 의해 각각 산출될 수 있다.
엣지 필터 유닛에 구비된 엣지 검출 및 판단부가 상기 움직임 필터 유닛 및 상기 시간적 필터 유닛 중 어느 하나로부터 입력된 입력값에 대해 소정의 엣지 강도(edge strength) 산출 방법을 이용하여 엣지 강도를 산출하여 엣지 화소인지 여부를 판단하는 단계; 및 엣지 화소인 것으로 판단된 경우에만, 엣지 필터 유닛에 구비된 믹스부가 수학식
Figure 112012023904061-pat00023
을 이용하여 상기 현재 프레임의 화소값(Ori')과 상기 움직임 필터 유닛 및 상기 시간적 필터 유닛 중 어느 하나로부터 입력된 입력값(Fcur)을 가중합 산출하여 출력하는 단계를 더 포함하되, 상기 TH4는 미리 지정된 제4 사용자 정의값일 수 있다.
연결 구조상 선행하는 필터 유닛과 후행하는 필터 유닛 간에는 M/2을 올림한 라인(line) 만큼의 딜레이(delay)를 가지고 순차적인 필터링을 수행할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 영상의 잡음을 효과적으로 제거하여 영상 화질 저하를 방지하고 후처리 기술의 성능을 향상시킬 수 있는 효과가 있다.
또한, 카메라 시스템의 화질을 효과적으로 향상시킬 수 있고, 종래기술에 따른 시간 필터에서 야기되는 모션 블러링(motion blurring) 현상을 감소시킬 수 있는 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 영상의 시간적 잡음 제거 장치의 구성을 개략적으로 나타낸 블록 구성도.
도 2는 본 발명의 일 실시예에 따른 필터링 처리 과정의 딜레이 개념을 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 시간적 필터(temporal filter) 유닛의 구성을 개략적으로 나타낸 블록 구성도.
도 4는 본 발명의 일 실시예에 따른 움직임 필터(motion filter) 유닛의 구성을 개략적으로 나타낸 블록 구성도.
도 5는 본 발명의 일 실시예에 따른 엣지 필터(edge filter) 유닛의 구성을 개략적으로 나타낸 블록 구성도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상의 시간적 잡음 제거 장치의 구성을 개략적으로 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 필터링 처리 과정의 딜레이 개념을 나타낸 도면이다.
도 1을 참조하면, 시간적 잡음 제거 장치는 시간적 필터(temporal filter) 유닛(110), 움직임 필터(motion filter) 유닛(120) 및 엣지 필터(edge filter) 유닛(130)을 포함할 수 있다.
시간적 필터 유닛(110)은 영상에서 인접한 프레임(Frame)들간에 상관성(Correlation)이 높다는 점을 이용하여 필터링을 수행하는 필터 유닛으로서, 인접한 하나 이상의 프레임의 화소값들을 적절히 섞어 잡음을 제거한다. 시간적 필터 유닛(110)은 이후 도 3을 참조하여 설명되는 바와 같이 공간 필터(spatial filter)(310), 선택적 시간 필터(selective temporal filter)를 포함할 수 있다.
움직임 필터 유닛(120)은 전술한 시간적 필터 유닛(110)의 필터링 처리에 의해서도 움직임이 많은 화소의 잡음은 거의 제거되지 않은 상태로 입력되므로 화소 영상의 움직임을 검출(detection)하여 움직임이 많은 화소의 잡음을 공간 필터(410, 420)를 이용하여 제거함으로써 영상의 밸런스를 맞추는 기능을 수행한다. 또한 움직임 필터 유닛(120)은 움직임이 없는 영역의 잡음은 보다 효과적으로 제거하기 위해 선택적 시간 필터(445)를 이용한 필터링을 수행한다.
일반적으로 같은 장면을 연속적으로 촬영을 하더라도 이미지 센서에 입사되는 광량은 랜덤(random)할 수 있어, 시간적 필터 유닛(110) 및 움직임 필터 유닛(120)에 의해 필터링된 화소에서 문체의 경계면과 같은 엣지(edge) 성분이 블러링(Burring)될 가능성이 높다. 이를 방지하기 위하여, 도 5를 참조하여 설명되는 바와 같이 엣지 필터 유닛(130)의 엣지 검출부(510)는 엣지를 검출(detection)하여 시간적 필터 유닛(110)과 움직임 필터 유닛(120)에 의한 필터링이 수행된 화소와 필터링이 수행되지 않은 순수한 화소를 섞어(mix) 영상의 디테일이 보존되도록 처리한다.
전술한 바와 같이 입력 화소는 N x M 크기의 배열 단위로 시간적 필터 유닛(110), 움직임 필터 유닛(120) 및 엣지 필터 유닛(130)에 의해 순차적으로 필터링된다. 여기서, N과 M은 각각 임의의 자연수일 수 있으며, 예를 들어 N과 M은 서로 같은 값의 자연수이거나 상이한 값의 자연수일 수 있다.
이때, 보다 향상된 성능을 위해 각 요소들 간에(즉, 시간적 필터 유닛(110)과 움직임 필터 유닛(120) 간에, 움직임 필터 유닛(120)과 엣지 필터 유닛(130)간에) M/2을 올림한 라인(line) 만큼의 딜레이 주고 필터링이 수행될 수도 있다.
잡음을 제거하려는 화소의 위치를 중심으로 NxM 크기의 배열을 잡음 제거 기본 단위로 사용할 때 일반적으로 N과 M은 홀수로 지정하게 되므로, 도 2에 예시된 바와 같이 5x5 배열을 사용한다면 3개(즉, 5/2의 올림)의 라인을 딜레이(지연, delay)하게 된다.
따라서, 첫 번째 필터 유닛(예를 들어, 시간적 필터 유닛(110))이 프레임의 왼쪽에서 오른쪽으로 순차적으로 한 라인을 처리한 후 다음 라인을 처리하게 되는데, 첫번째 필터 유닛이 총 3라인을 처리하게 되면 두번째 필터 유닛(예를 들어 움직임 필터 유닛(120))이 영상의 좌측상단의 제일 처음 화소부터 처리를 시작하게 된다.
이러한 구조를 가지면 두번째 필터 유닛의 입력 배열은 첫번째 필터 유닛에 의해 모두 필터링된 화소로 구성될 수 있다. 예를 들어 두번째 필터 유닛인 움직임 필터 유닛(120)에서는 움직임을 검출하기 위하여 SAD(Sum of Absolute Differences)를 구하게 되는데 배열에 랜덤(random)한 잡음이 있으면 잡음의 영향으로 잘못된 계산 결과를 가지게 될 수 있다. 그러나, 첫번째 필터 유닛에 의해 필터링되어 잡음이 어느 정도 제거된 화소의 배열을 입력으로 사용하게 되면 잡음에 대한 영향이 작아져 움직임 검출의 성능이 향상될 수 있다.
마찬가지로, 세번째 필터 유닛인 엣지 필터 유닛(130)에서도 엣지 검출을 수행하는데 엣지 검출시 영상에서 엣지와 잡음은 고주파 성분으로 정확한 구분이 어려울 수 있다. 따라서 잡음이 어느 정도 제거된 화소의 배열을 입력으로 사용하게 되면 잡음에 대한 영향이 작아져 엣지 검출의 성능이 향상될 수 있다.
이때, 세번째 필터 유닛인 엣지 필터 유닛(130)에 의해 필터링된 마지막 결과에 대한 딜레이는 불필요할 수도 있으나, 후단에 공간적 필터 등과 결합하여 시공간적 필터로 이용되는 경우에는 전술한 바와 같이 M/2을 올림한 라인(line) 만큼의 딜레이가 동일하게 적용될 수도 있다.
전술한 바와 같이 M/2을 올림한 라인(line) 만큼의 딜레이는 각 필터 유닛에 입력되는 마스크의 모든 화소가 선행하는 필터 유닛에 의해 필터링 처리된 화소로 이루어지도록 함으로써 잡음 제거 장치의 성능을 향상시킬 수 있는 장점이 있다.
도 3은 본 발명의 일 실시예에 따른 시간적 필터(temporal filter) 유닛의 구성을 개략적으로 나타낸 블록 구성도이다.
도 3을 참조하면, 시간적 필터 유닛(110)은 공간 필터(spatial filter)(310) 및 선택적 시간 필터(320)을 포함하여 구성될 수 있다.
공간 필터(spatial filter)(310)는 영상에서 인접한 화소들간에는 상관성(Correlation)이 높다는 점을 이용한 필터로서, 인접한 화소들의 정보를 이용하여 잡음을 제거한다. 공간 필터(310)는 예를 들어 가우시안(Gaussian) 필터, 평균(Average) 필터, 메디언(Median) 필터 등일 수 있다.
예를 들어, 평균 필터로 공간 필터(310)가 구현되는 경우로서 입력된 3x3 배열의 화소값이 (120 121 120, 117 183 121, 122 121 119)이라고 가정하면, 183은 잡음으로 손상된 화소라 가정할 수 있으며, 3x3 배열의 화소들의 평균값인 약 127로 해당 값을 대체함으로써 잡음을 제거할 수 있다.
공간 필터(310)는 현재 프레임에서 N x M의 배열의 화소값을 입력받아 필터링한 결과값을 선택적 시간 필터(320)에 입력한다.
선택적 시간 필터(320)는 영상에 잡음이 섞였는지 여부에 대한 판단 결과에 따라 선택적으로 시간 필터링(Temporal Filtering)을 수행한다.
선택적 시간 필터(320)는 공간 필터(310)에 의해 필터링된 결과값, 현재 프레임의 N x M의 배열의 화소값과 (t-TP) 거리 만큼 떨어져 있는 프레임에서 동일한 위치에 존재하는 화소값(Co-located Pixel)을 입력값으로 이용한다. 선택적 시간 필터(320)는 종래의 시간 필터(Temporal Filter)와 동일하게 하기 수학식 3을 기반으로 필터링을 수행하며, 선택적 필터링 조건 및 적용 방법은 하기 수학식 4와 같다.
Figure 112012023904061-pat00024
여기서, CP는 현재 프레임의 화소값(즉, 잡음이 제거되어야 하는 화소값), SF는 공간 필터(310)의 결과값(즉, 잡음을 제거하려는 화소를 중심으로 NxM 크기의 배열을 사용하여 공간 필터링한 결과값으로 잡음이 제거된 화소값), FP는 (t-TP) 거리 만큼 떨어져 있는 프레임에서 동일한 위치에 존재하는 화소값, difc는 CP와 SF의 차분(difference) 절대값, difp는 FP과 SF의 차분 절대값을 각각 나타낸다.
Figure 112012023904061-pat00025
여기서 TH0는 앞서 설명한 바와 같이 사용자가 임의로 정의하는 사용자 정의값이고, λ는 필터 컨트롤 파라미터이다.
종래기술에 따른 시간 필터는 영상 전체에 걸쳐서 시간 필터링(Temporal Filtering)을 수행하기 때문에 정상적인 화소에 오히려 잡음을 섞는 경우도 초래할 수 있고, 잔상 현상을 야기하는 문제점이 있었다.
그러나 본 실시예에 따른 선택적 시간 필터(320)는 수학식 3과 4에 제시된 바와 같이, 잡음이 없다고 생각하는 가상의 화소값(즉, SF)를 가정하고 두 화소값(즉, CP, FP)을 적절히 섞어(mix) 잡음이 없는 화소(즉, SF와 비슷한 화소)를 만드는 기능을 한다. 이때 λ 계산을 통해서도 충분히 잔상현상과 오작동을 막을 수 있지만, 잡음이 없는 화소는 원 상태대로 유지하기 위하여
Figure 112012023904061-pat00026
란 제약을 두어 선택적으로 필터를 수행한다. 즉, 수학식 4는 다른 프레임의 화소가 가상의 화소와의 차가 더 큰 경우에는 현재 프레임의 화소값에 대한 처리가 불필요하므로 원 상태를 유지하라는 것이며, 이를 통해 원본 영상의 디테일을 더 유지시켜줄 수 있는 효과도 있다.
도 4는 본 발명의 일 실시예에 따른 움직임 필터(motion filter) 유닛의 구성을 개략적으로 나타낸 블록 구성도이다.
도 4를 참조하면, 움직임 필터 유닛(120)은 제1 공간 필터(410), 움직임 추정 및 판단부(415), 제2 공간 필터(420), 평균 연산부(425), 선택적 시간 필터(430) 및 믹스부(435)를 포함하여 구성될 수 있다.
제1 공간 필터(410) 및 제2 공간 필터(420)는 앞서 도 3을 참조하여 설명한 공간 필터(310)와 같이 예를 들어 가우시안(Gaussian) 필터, 평균(Average) 필터, 메디언(Median) 필터 등일 수 있으며, 이에 대한 설명은 생략한다.
움직임 추정 및 판단부(415)는 입력 정보에 대해 앞서 설명한 수학식 2를 이용하여 SAD를 산출하고, 하기 수학식 5를 참조하여 움직임 있는 화소인지 여부를 판단한다.
Figure 112012023904061-pat00027
여기서, TH1은 사용자가 임의로 정의하는 사용자 정의값이고, 산출된 SAD가 사용자 정의값 TH1보다 작다면 움직임이 없는 화소로 판단된다.
이와 같이, 움직임 추정 및 판단부(415)가 움직임 있는 화소와 그렇지 않은 화소를 구분하는 이유는 시간 필터(Temporal Filter)의 특성상 움직임 영역에서 잡음이 남아 있어 독립적으로 시간 필터로 사용할 때 이를 공간 필터(Spatial Filter)를 이용하여 잡음을 억제해주기 위함이다.
움직임 추정 및 판단부(415)에 의해 움직임이 있는 것으로 판단되면, 믹스부(435)에 의해 연산된 결과값이 움직임 필터 유닛(120)의 필터링 결과값으로 출력된다.
그러나 움직임 추정 및 판단부(415)에 의해 움직임이 없는 것으로 판단되면 평균 연산부(425)에 의해 평균 연산된 후, 선택적 시간 필터(430)에 의해 필터링된 후 믹스부(435)에 의해 연산된 결과값이 움직임 필터 유닛(120)의 필터링 결과값으로 출력된다.
평균 연산부(425)는 제1 공간 필터(410) 및 제2 공간 필터(420)로부터 입력되는 입력값의 평균을 연산한다. 즉, 각각의 공간 필터에서 출력되는 입력값은 예를 들어 화소 하나의 값일 수 있으며, 평균 연산부(425)는 이들의 평균을 산출한다.
선택적 시간 필터(430)의 동작 및 기능은 앞서 도 3을 참조하여 설명하였으므로 이에 대한 설명은 생략한다. 다만, 앞서 수학식 3 및 4를 참조하여 선택적 시간 필터의 선택적 필터링 조건 및 적용 방법을 설명함에 있어, 현재 프레임의 화소값(즉, 잡음이 제거되어야 하는 화소값)(CP), 공간 필터의 결과값(SF), (t-TP) 거리 만큼 떨어져 있는 프레임에서 동일한 위치에 존재하는 화소값(FP)가 요구되었다. 선택적 시간 필터(430)는 CP 및 FP를 움직임 추정 및 판단부(415)로부터 제공받거나 별도의 경로를 통해 제공받을 수 있으며, 제2 공간 필터(420)의 필터링 결과값(SF)은 평균 연산부(425)에 의해 평균 연산된 결과값(SP')으로 대체되고, 사용자 정의값이 수학식 4의 TH0와 같거나 다른 값으로 지정된 TH6으로 대체되어 앞서 설명한 수학식 3 및 4가 적용될 수 있다.
즉, 움직임 추정 및 판단부(415)의 판단에 의해, 움직임이 없는 화소로 판단된 경우에는 선택적 시간 필터(430)를 이용하여 잡음 제거의 효과를 높인다. 이때 λ값을 계산하기 위해서 사용되는 SF 값은 수학식 3(즉, 시간적 필터 유닛(110)의 선택적 시간 필터(320))와는 달리 현재 프레임의 또는 앞서 설명한 필터링 처리에 의해 필터링된 NxM 크기 배열의 화소값과 (t-TP) 거리 만큼 떨어져 있는 프레임의 NxM 크기 배열의 화소값을 각각 공간 필터링(spatial filtering)한 결과값의 평균값이 사용된다.
믹스부(435)는 움직임 추정 및 판단부(415)의 판단 결과에 따라 입력되는 두 개의 입력값에 대한 가중합(weighted sum)을 산출한다. 만일 움직임 추정 및 판단부(415)의 판단에 의해 움직임이 있는 것으로 판단되면 제1 공간 필터(410)와 움직임 추정 및 판단부(415)로부터의 입력값에 대한 가중합을 산출하고, 움직임이 없는 것으로 판단되면 제1 공간 필터(410) 및 선택적 시간 필터(430)로부터의 입력값에 대한 가중합을 산출한다.
믹스부(435)의 가중합 산출을 위해 하기 수학식 6 또는 8이 각각 이용될 수 있다. 참고로, 하기 수학식 6은 움직임 추정 및 판단부(415)의 판단에 의해 움직임이 있는 것으로 판단된 경우의 가중합 산출 공식이고, 하기 수학식 8은 움직임 추정 및 판단부(415)의 판단에 의해 움직임이 없는 것으로 판단된 경우의 가중합 산출 공식이다.
Figure 112012023904061-pat00028
여기서, Ori는 제1 공간 필터(410) 및 움직임 추정 및 판단부(415)에 입력되는 화소값이고, SFcur는 제1 공간 필터(410)에 의한 필터링 결과값이며, TH2는 앞서 설명한 바와 같이 사용자가 임의로 정의하는 사용자 정의값이다. 또한, 수학식 6에서 >>7은 비트 연산 시프트로 가중치의 합인 128로 나누는 것을 의미하며, +64를 먼저 연산한 후 반올림 함을 의미한다. 따라서, 수학식 6은 하기 수학식 7과 같이 표현될 수도 있다.
Figure 112012023904061-pat00029
Figure 112012023904061-pat00030
여기서, STF_out은 선택적 시간 필터(430)에 의해 필터링된 결과값이고, Inputcur은 움직임 추정 및 판단부(415)로 입력되는 입력되는 화소값이며, TH5는 앞서 설명한 바와 같이 사용자가 임의로 정의하는 사용자 정의값이다.
도 4에 도시된 바와 같이, 움직임 추정 및 판단부(415)의 판단에 의해 움직임이 없는 화소로 판단된 경우에도 믹스부(435)에서 복수의 화소값에 대한 믹싱(mixing) 처리가 이루어지며, 이는 믹싱 처리없이 선택적 시간 필터(430)의 필터링된 결과값을 엣지 필터 유닛(130)으로 출력하는 경우 영상의 디테일이 많이 손상될 가능성이 있기 때문이다.
도 5는 본 발명의 일 실시예에 따른 엣지 필터(edge filter) 유닛의 구성을 개략적으로 나타낸 블록 구성도이다.
도 5를 참조하면, 엣지 필터 유닛(130)은 엣지 검출 및 판단부(510), 믹스부(520)를 포함할 수 있다.
인접한 프레임의 상관도가 높을지라도 영상의 엣지(edge) 성분은 영상의 특성상 블러링(Blurring)될 확률이 있다. 이러한 현상을 방지하기 위하여, 엣지 검출 및 판단부(510)은 소벨 마스크(sobel mask)를 이용하여 엣지 강도를 산출하고, 하기 수학식 9에 제시된 바와 같이 산출한 엣지 강도가 미리 지정한 기준값보다 큰지 작은지 여부로서 엣지 화소인지 여부를 판단한다.
소벨 마스크를 이용하여 엣지 강도를 산출하는 방법을 예를 들어 간략히 설명한다. 예를 들어 3x3 크기의 배열을 가지는 입력값이 (90 100 100, 90 100 100, 90 100, 100)으로 구성되었다고 가정한다. 먼저, 입력값에 대해 (1 2 1, 0 0 0, -1 -2 -1)의 3x3 크기의 배열을 가지는 X축 미분 마스크를 적용하면 X값은 0(즉, 90 * 1 + 100 * 2 +100*1 + 90*0 + 100*0 + 100*0 + 90*-1 + 100*-2 + 100*-1)이 된다. 다음으로, 입력값에 대해 (-1 0 1, -2 0 2, -1 0 1)의 3x3 크기의 배열을 가지는 Y축 미분 마스크를 적용하면 Y값은 40(즉, 90 * -1 + 100 *0 +100*1 + 90*-2 + 100*0 + 100*2 + 90*-1 + 100*0 + 100*1)이 된다. 따라서, 엣지 강도(Edge Strength)는 X값과 Y값의 합인 40으로 산출될 수 있으며, 이를 통해 해당 배열이 Y축 방향으로 40정도의 세기를 가진 엣지 성분임을 알 수 있다.
물론, 엣지 검출 및 판단부(510)가 엣지 강도를 산출하기 위한 방법이 소벨 마스크를 이용하는 방법만으로 제한되지 않음은 당연하다.
Figure 112012023904061-pat00031
여기서, TH3는 엣지 화소의 구분을 위해 사용자가 임의로 정의하는 사용자 정의값이다.
엣지 검출 및 판단부(510)의 판단에 의해 엣지 화소로 판단된 화소는 엣지의 디테일 조절을 위해 믹스부(520)로 입력된다.
믹스부(520)는 아무런 필터링 처리가 이루어지지 않은 현재 프레임의 NxM 화소값과 시간적 필터 유닛(110) 및 움직임 필터 유닛(120)에 의해 필터링 처리된 결과값에 대한 가중합을 산출하여 출력한다. 믹스부(520)의 가중합 산출 방법은 하기 수학식 10에 제시되어 있다.
Figure 112012023904061-pat00032
여기서, Ori는 아무런 필터링 처리가 이루어지지 않은 현재 프레임의 NxM 화소값이고, Fcur는 시간적 필터 유닛(110) 및 움직임 필터 유닛(120)에 의해 필터링 처리된 결과값이며, TH4는 앞서 설명한 바와 같이 사용자가 임의로 정의하는 사용자 정의값이다.
전술한 바와 같이 본 실시예에 따른 시간적 잡음 제거 방법 및 장치는 시간적 필터 유닛, 움직임 필터 유닛 및 엣지 필터 유닛의 순차적 필터링 처리를 통해 카메라 시스템의 화질을 보다 효과적으로 향상시킬 수 있고, 종래의 시간 필터(temporal filter)에서 나타나는 움직임 블러링(motion blurring) 현상을 감소시킬 수 있으며, 영상 후처리 기술의 성능을 향상시킬 수 있는 장점을 가진다.
한편, 본 실시예에 따른 시간적 잡음 제거 방법을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간 에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다
110 : 시간적 필터(temporal filter) 유닛
120 : 움직임 필터(motion filter) 유닛
130 : 엣지 필터(edge filter) 유닛
310 : 공간 필터(spatial filter)
320, 430 : 선택적 시간 필터(selective temporal filter)
410 : 제1 공간 필터
415 : 움직임 추정 및 판단부
420 : 제2 공간 필터
425 : 평균 연산부
435, 520 : 믹스부
510 : 엣지 검출 및 판단부

Claims (19)

  1. 영상의 시간적 잡음 제거 장치에 있어서,
    현재 프레임의 N x M의 배열의 화소값(CP)과 TP 거리 만큼 이격된 인접 프레임에서 동일한 위치에 존재하는 N x M의 배열의 화소값(FP)을 이용하여 시간 필터링(temporal filtering)을 수행하는 시간적 필터 유닛; 및
    상기 시간적 필터 유닛의 결과값에서 화소 영상의 움직임을 검출하여 움직임이 미리 지정된 사용자 정의값 이상인 화소의 잡음을 공간 필터(spatial filter)를 이용하여 제거하는 움직임 필터 유닛을 포함하되,
    상기 시간적 필터 유닛은,
    현재 프레임의 NxM의 배열의 화소값(CP)에 대해 인접 화소의 화소값을 참조하여 잡음이 존재하는 화소의 잡음을 제거하는 공간 필터(spatial filter); 및
    상기 현재 프레임의 NxM의 배열의 화소값(CP), 상기 공간 필터의 결과값(SF), 상기 인접 프레임에서 동일 위치에 존재하는 NxM의 배열의 화소값(FP)을 이용하여 수학식
    Figure 112013054458532-pat00058
    에 의해 산출된 제1 차분 절대값(difp)과 수학식
    Figure 112013054458532-pat00059
    에 의해 산출된 제2 차분 절대값(difc)의 차가 미리 지정된 제0 사용자 정의값(TH0) 이하인 제1 조건을 만족할 때에만 상기 시간 필터링을 수행하는 선택적 시간 필터(selective temporal filter)를 포함하는 것을 특징으로 하는 영상의 시간적 잡음 제거 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 조건을 만족하는 경우, 필터 컨트롤 파라미터(λ)와 상기 시간 필터링에 의해 잡음이 제거된 화소값 FT(t)은 하기 수학식
    Figure 112013054458532-pat00060

    에 의해 각각 산출되는 것을 특징으로 하는 영상의 시간적 잡음 제거 장치.
  4. 제1항에 있어서,
    상기 움직임 필터 유닛은 하기 수학식에 의해 산출된 화소들의 절대적 차에 대한 SAD(Sum of Absolute Difference)가 미리 지정된 제1 사용자 정의값(TH1) 이상인 경우에만 움직임 있는 화소로 판단하는 움직임 추정 및 판단부를 포함하는 것을 특징으로 하는 영상의 시간적 잡음 제거 장치.
    Figure 112012023904061-pat00036

    여기서, F(x+n,y+m)(t)는 t시간의 프레임의 (x+n,y+m) 좌표의 화소를 의미하고, N과 M은 배열의 크기인 NxM에 해당하는 값으로 각각 임의의 자연수이며, TP는 계산을 하는 프레임간의 거리를 의미함.
  5. 제4항에 있어서,
    상기 움직임 추정 및 판단부의 판단에 의해 움직임 있는 화소로 판단된 경우,
    수학식
    Figure 112012023904061-pat00037
    을 이용하여 상기 움직임 추정 및 판단부에 입력된 화소값(Ori)과 공간 필터(spatial filter)에 의해 공간 필터링된 결과값(SFcur)을 가중합 산출하여 출력하는 믹스부를 더 포함하되,
    상기 TH2는 미리 지정된 제2 사용자 정의값인 것을 특징으로 하는 영상의 시간적 잡음 제거 장치.
  6. 제4항에 있어서,
    상기 움직임 추정 및 판단부의 판단에 의해 움직임 없는 화소로 판단된 경우,
    상기 시간적 필터 유닛에 의해 필터링되어 입력된 입력값 및 상기 인접 프레임에서 동일한 위치에 존재하는 N x M의 배열의 화소값에 대해 각각 공간 필터링된 결과값을 평균 연산하는 평균 연산부;
    상기 현재 프레임의 NxM의 배열의 화소값(CP), 상기 평균 연산부의 결과값(SF'), 상기 인접 프레임에서 동일 위치에 존재하는 NxM의 배열의 화소값(FP)을 이용하여 수학식
    Figure 112012023904061-pat00038
    에 의해 산출된 제1 차분 절대값(difp)과 수학식
    Figure 112012023904061-pat00039
    에 의해 산출된 제2 차분 절대값(difc)의 차가 미리 지정된 제6 사용자 정의값(TH6) 이하인 제2 조건을 만족할 때에만 상기 시간 필터링을 수행하는 선택적 시간 필터(selective temporal filter); 및
    수학식
    Figure 112012023904061-pat00040
    을 이용하여 상기 선택적 시간 필터에 의해 필터링된 결과값(STF_out)과 상기 움직임 추정 및 판단부로부터 입력되는 화소값(Inputcur)을 가중합 산출하여 출력하는 믹스부를 더 포함하되,
    상기 TH5는 미리 지정된 제5 사용자 정의값인 것을 특징으로 하는 영상의 시간적 잡음 제거 장치.
  7. 제6항에 있어서,
    상기 제1 조건을 만족하는 경우, 필터 컨트롤 파라미터(λ)와 상기 시간 필터링에 의해 잡음이 제거된 화소값 FT(t)은 하기 수학식
    Figure 112012023904061-pat00041

    에 의해 각각 산출되는 것을 특징으로 하는 영상의 시간적 잡음 제거 장치.
  8. 제1항에 있어서,
    상기 움직임 필터 유닛 및 상기 시간적 필터 유닛 중 어느 하나로부터 입력된 입력값에 대해 소정의 엣지 강도(edge strength) 산출 방법을 이용하여 엣지 강도를 산출하여 엣지 화소인지 여부를 판단하는 엣지 검출 및 판단부; 및
    엣지 화소인 것으로 판단된 경우에만, 수학식
    Figure 112012023904061-pat00042
    을 이용하여 상기 현재 프레임의 화소값(Ori')과 상기 움직임 필터 유닛 및 상기 시간적 필터 유닛 중 어느 하나로부터 입력된 입력값(Fcur)을 가중합 산출하여 출력하는 믹스부를 가지는 엣지 필터 유닛을 더 포함하되,
    상기 TH4는 미리 지정된 제4 사용자 정의값인 것을 특징으로 하는 영상의 시간적 잡음 제거 장치.
  9. 제8항에 있어서,
    상기 시간적 필터 유닛과 상기 움직임 필터 유닛으로 순차적 연결된 연결 구조, 상기 움직임 필터유닛과 상기 엣지 필터 유닛으로 순차적 연결된 연결 구조, 또는 상기 시간적 필터 유닛과 상기 엣지 필터 유닛으로 순차적 연결된 연결 구조상에서, 앞에 배치된 어느 하나의 필터 유닛과 뒤에 배치된 다른 하나의 필터 유닛 간에는 M/2을 올림한 라인(line) 만큼의 딜레이(delay)를 가지고 순차적인 필터링을 수행하는 것을 특징으로 하는 영상의 시간적 잡음 제거 장치.
  10. 영상의 시간적 잡음 제거 방법에 있어서,
    (a) 시간적 필터 유닛이 현재 프레임의 N x M의 배열의 화소값(CP)과 TP 거리 만큼 이격된 인접 프레임에서 동일한 위치에 존재하는 N x M의 배열의 화소값(FP)을 이용하여 시간 필터링(temporal filtering)을 수행하여 결과값을 출력하는 단계; 및
    (b) 움직임 필터 유닛이 상기 시간적 필터 유닛의 결과값에서 화소 영상의 움직임을 검출하여 움직임이 미리 지정된 사용자 정의값 이상인 화소의 잡음을 공간 필터(spatial filter)를 이용하여 제거하는 단계를 포함하되,
    상기 단계 (a)는,
    상기 시간적 필터 유닛에 구비된 공간 필터(spatial filter)가 현재 프레임의 NxM의 배열의 화소값(CP)에 대해 인접 화소의 화소값을 참조하여 잡음이 존재하는 화소의 잡음을 제거하는 단계; 및
    상기 시간적 필터 유닛에 구비된 선택적 시간 필터(selective temporal filter)가 상기 현재 프레임의 NxM의 배열의 화소값(CP), 상기 공간 필터의 결과값(SF), 상기 인접 프레임에서 동일 위치에 존재하는 NxM의 배열의 화소값(FP)을 이용하여 수학식
    Figure 112013054458532-pat00061
    에 의해 산출된 제1 차분 절대값(difp)과 수학식
    Figure 112013054458532-pat00062
    에 의해 산출된 제2 차분 절대값(difc)의 차가 미리 지정된 제0 사용자 정의값(TH0) 이하인 제1 조건을 만족할 때에만 상기 시간 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 영상의 시간적 잡음 제거 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 제1 조건을 만족하는 경우, 필터 컨트롤 파라미터(λ)와 상기 시간 필터링에 의해 잡음이 제거된 화소값 FT(t)은 하기 수학식
    Figure 112013054458532-pat00063

    에 의해 각각 산출되는 것을 특징으로 하는 영상의 시간적 잡음 제거 방법.
  13. 제10항에 있어서,
    상기 움직임 필터 유닛에 구비된 움직임 추정 및 판단부는 하기 수학식에 의해 산출된 화소들의 절대적 차에 대한 SAD(Sum of Absolute Difference)가 미리 지정된 제1 사용자 정의값(TH1) 이상인 경우에만 움직임 있는 화소로 판단하는 것을 특징으로 하는 영상의 시간적 잡음 제거 방법.
    Figure 112012023904061-pat00046

    여기서, F(x+n,y+m)(t)는 t시간의 프레임의 (x+n,y+m) 좌표의 화소를 의미하고, N과 M은 배열의 크기인 NxM에 해당하는 값으로 각각 임의의 자연수이며, TP는 계산을 하는 프레임간의 거리를 의미함.
  14. 제13항에 있어서,
    상기 움직임 추정 및 판단부의 판단에 의해 움직임 있는 화소로 판단된 경우,
    수학식
    Figure 112012023904061-pat00047
    을 이용하여 상기 움직임 추정 및 판단부에 입력된 화소값(Ori)과 공간 필터(spatial filter)에 의해 공간 필터링된 결과값(SFcur)을 가중합 산출하여 출력하는 단계가 더 수행되되,
    상기 TH2는 미리 지정된 제2 사용자 정의값인 것을 특징으로 하는 영상의 시간적 잡음 제거 방법.
  15. 제13항에 있어서,
    상기 움직임 추정 및 판단부의 판단에 의해 움직임 없는 화소로 판단된 경우, 상기 단계 (b)는,
    상기 움직임 필터 유닛에 구비된 평균 연산부가 상기 시간적 필터 유닛에 의해 필터링되어 입력된 입력값 및 상기 인접 프레임에서 동일한 위치에 존재하는 N x M의 배열의 화소값에 대해 각각 공간 필터링된 결과값을 평균 연산하는 단계;
    상기 움직임 필터 유닛에 구비된 선택적 시간 필터(selective temporal filter)가 상기 현재 프레임의 NxM의 배열의 화소값(CP), 상기 평균 연산부의 결과값(SF'), 상기 인접 프레임에서 동일 위치에 존재하는 NxM의 배열의 화소값(FP)을 이용하여 수학식
    Figure 112012023904061-pat00048
    에 의해 산출된 제1 차분 절대값(difp)과 수학식
    Figure 112012023904061-pat00049
    에 의해 산출된 제2 차분 절대값(difc)의 차가 미리 지정된 제6 사용자 정의값(TH6) 이하인 제2 조건을 만족할 때에만 상기 시간 필터링을 수행하는 단계; 및
    상기 움직임 필터 유닛에 구비된 믹스부가 수학식
    Figure 112012023904061-pat00050
    을 이용하여 상기 선택적 시간 필터에 의해 필터링된 결과값(STF_out)과 상기 움직임 추정 및 판단부로부터 입력되는 화소값(Inputcur)을 가중합 산출하여 출력하는 단계를 포함하되,
    상기 TH5는 미리 지정된 제5 사용자 정의값인 것을 특징으로 하는 영상의 시간적 잡음 제거 방법.
  16. 제15항에 있어서,
    상기 제1 조건을 만족하는 경우, 필터 컨트롤 파라미터(λ)와 상기 시간 필터링에 의해 잡음이 제거된 화소값 FT(t)은 하기 수학식
    Figure 112013054458532-pat00064

    에 의해 각각 산출되는 것을 특징으로 하는 영상의 시간적 잡음 제거 방법.
  17. 제10항에 있어서,
    엣지 필터 유닛에 구비된 엣지 검출 및 판단부가 상기 움직임 필터 유닛 및 상기 시간적 필터 유닛 중 어느 하나로부터 입력된 입력값에 대해 소정의 엣지 강도(edge strength) 산출 방법을 이용하여 엣지 강도를 산출하여 엣지 화소인지 여부를 판단하는 단계; 및
    엣지 화소인 것으로 판단된 경우에만, 엣지 필터 유닛에 구비된 믹스부가 수학식
    Figure 112012023904061-pat00052
    을 이용하여 상기 현재 프레임의 화소값(Ori')과 상기 움직임 필터 유닛 및 상기 시간적 필터 유닛 중 어느 하나로부터 입력된 입력값(Fcur)을 가중합 산출하여 출력하는 단계를 더 포함하되,
    상기 TH4는 미리 지정된 제4 사용자 정의값인 것을 특징으로 하는 영상의 시간적 잡음 제거 방법.
  18. 제17항에 있어서,
    상기 시간적 필터 유닛과 상기 움직임 필터 유닛으로 순차적 연결된 연결 구조, 상기 움직임 필터유닛과 상기 엣지 필터 유닛으로 순차적 연결된 연결 구조, 또는 상기 시간적 필터 유닛과 상기 엣지 필터 유닛으로 순차적 연결된 연결 구조상에서, 앞에 배치된 어느 하나의 필터 유닛과 뒤에 배치된 다른 하나의 필터 유닛 간에는 M/2을 올림한 라인(line) 만큼의 딜레이(delay)를 가지고 순차적인 필터링을 수행하는 것을 특징으로 하는 영상의 시간적 잡음 제거 방법.
  19. 제10항, 제12항 내지 제17항 중 어느 한 항에 기재된 영상의 시간적 잡음 제거 방법을 수행하기 위해 디지털 처리 장치에서 실행될 수 있는 명령어들의 프로그램이 기록되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램이 기록된 기록매체.
KR1020120030416A 2012-03-26 2012-03-26 영상의 시간적 잡음 제거 방법 및 장치 KR101306242B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120030416A KR101306242B1 (ko) 2012-03-26 2012-03-26 영상의 시간적 잡음 제거 방법 및 장치
US13/848,568 US9002129B2 (en) 2012-03-26 2013-03-21 Method and device for reducing temporal noise for image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120030416A KR101306242B1 (ko) 2012-03-26 2012-03-26 영상의 시간적 잡음 제거 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101306242B1 true KR101306242B1 (ko) 2013-09-09

Family

ID=49211869

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120030416A KR101306242B1 (ko) 2012-03-26 2012-03-26 영상의 시간적 잡음 제거 방법 및 장치

Country Status (2)

Country Link
US (1) US9002129B2 (ko)
KR (1) KR101306242B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041864B2 (en) * 2012-11-19 2015-05-26 Nokia Technologies Oy Method and apparatus for temporal stabilization of streaming frames
JP6135526B2 (ja) * 2014-01-30 2017-05-31 株式会社リガク 画像処理方法および画像処理装置
WO2015132826A1 (ja) * 2014-03-05 2015-09-11 パナソニックＩｐマネジメント株式会社 画像処理装置、監視カメラ及び画像処理方法
KR102182695B1 (ko) * 2014-04-01 2020-11-24 한화테크윈 주식회사 영상 잡음 제거 장치 및 방법
KR102357680B1 (ko) 2014-11-17 2022-02-03 삼성전자주식회사 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법
US10283031B2 (en) * 2015-04-02 2019-05-07 Apple Inc. Electronic device with image processor to reduce color motion blur
GB2541179B (en) * 2015-07-31 2019-10-30 Imagination Tech Ltd Denoising filter
US10559073B2 (en) * 2016-03-23 2020-02-11 Intel Corporation Motion adaptive stream processing for temporal noise reduction
TWI674557B (zh) * 2018-07-31 2019-10-11 瑞昱半導體股份有限公司 影像處理裝置及其方法
US11197008B2 (en) * 2019-09-27 2021-12-07 Intel Corporation Method and system of content-adaptive denoising for video coding
CN114331899A (zh) * 2021-12-31 2022-04-12 上海宇思微电子有限公司 一种图像降噪方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050120563A (ko) * 2004-06-17 2005-12-22 삼성전자주식회사 비디오 신호에 대한 움직임 적응성 노이즈 감소 장치 및그 방법
JP2006229749A (ja) * 2005-02-18 2006-08-31 Sharp Corp 画像処理装置および画像処理方法
KR20110037957A (ko) * 2008-08-01 2011-04-13 조란 코포레이션 잡음 제거를 위한 통합 시간 필터를 구비한 비디오 인코더

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100327385B1 (en) * 2000-07-18 2002-03-13 Lg Electronics Inc Spatio-temporal three-dimensional noise filter
US7373013B2 (en) * 2003-12-23 2008-05-13 General Instrument Corporation Directional video filters for locally adaptive spatial noise reduction
US7724979B2 (en) * 2004-11-02 2010-05-25 Broadcom Corporation Video preprocessing temporal and spatial filter
KR101298642B1 (ko) 2006-11-21 2013-08-21 삼성전자주식회사 영상 잡음 제거 방법 및 장치
KR20080048015A (ko) 2008-05-09 2008-05-30 주식회사 비즈모델라인 애완 동물 관리 방법
NO329007B1 (no) 2008-05-19 2010-07-19 Tor Mikal Ostervold Fremgangsmate og apparat til rengjoring av flater

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050120563A (ko) * 2004-06-17 2005-12-22 삼성전자주식회사 비디오 신호에 대한 움직임 적응성 노이즈 감소 장치 및그 방법
JP2006229749A (ja) * 2005-02-18 2006-08-31 Sharp Corp 画像処理装置および画像処理方法
KR20110037957A (ko) * 2008-08-01 2011-04-13 조란 코포레이션 잡음 제거를 위한 통합 시간 필터를 구비한 비디오 인코더

Also Published As

Publication number Publication date
US9002129B2 (en) 2015-04-07
US20130251282A1 (en) 2013-09-26

Similar Documents

Publication Publication Date Title
KR101306242B1 (ko) 영상의 시간적 잡음 제거 방법 및 장치
KR102182695B1 (ko) 영상 잡음 제거 장치 및 방법
KR100721543B1 (ko) 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
KR101097673B1 (ko) 화질 개선을 위한 노이즈 검출 및 평가 기술
KR100739753B1 (ko) 양방향 시간적 잡음 제거 방법 및 장치
US7936950B2 (en) Apparatus for creating interpolation frame
US8204337B2 (en) Image processing system and method for noise reduction
CN101681084B (zh) 改善摄像机的视频图像的方法
KR101805623B1 (ko) 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치
US7961972B2 (en) Method and apparatus for short range motion adaptive noise reduction
CN100367771C (zh) 一种自适应抑制图像噪声的方法
KR101984173B1 (ko) 비디오의 잡음 제거 방법 및 장치
KR102411033B1 (ko) Ｉｓｐ 바이어스-보상 노이즈 감소 시스템들 및 방법들
TWI413023B (zh) 移動偵測方法及裝置
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
KR100677148B1 (ko) 적응성 양방향 필터링을 이용한 비디오 노이즈 감소 장치및 그 방법
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
CN101141655A (zh) 影像信号像素点色彩值调整方法
US10812719B2 (en) Image processing apparatus, imaging apparatus, and image processing method for reducing noise and corrects shaking of image data
US20060028562A1 (en) Fast area-selected filtering for pixel-noise and analog artifacts reduction
JP3959547B2 (ja) 画像処理装置、画像処理方法、及び情報端末装置
KR100772405B1 (ko) 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
US9305336B2 (en) Apparatus and method for estimating noise
US10264212B1 (en) Low-complexity deinterlacing with motion detection and overlay compensation
KR20110006869A (ko) 디지털 영상 처리기에서 노이즈 제거 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170829

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180823

Year of fee payment: 6