KR101375187B1 - 디지털 영상 처리기에서 노이즈 제거 장치 - Google Patents

Abstract

본 발명은 디지털 영상 처리 장치에 관한 것으로, 보다 상세하게는 움직임 대상의 모션 블러링 없이 최적으로 노이즈를 제거하는 디지털 영상 처리기에서 노이즈 제거 장치에 관한 것이다. 디지털 영상 처리기에서 노이즈 제거 장치는 디지털 영상 처리기로서, 현재 프레임으로부터 움직임 정보를 검출하는 움직임 검출수단; 상기 현재 프레임에서 움직임 정보를 기반으로 한 복수의 움직임 대상들에 대한 각각의 휘도신호의 합 및 기 저장된 이전 프레임에서 움직임 정보를 기반으로 한 복수의 움직임 대상들에 대한 각각의 휘도신호의 합에 대한 차이값들 중 최소가 되는 움직임 대상을 선별해서 분류하는 움직임 분류수단; 상기 이전 프레임의 움직임 대상과의 상호 비교를 위해 상기 현재 프레임의 움직임 대상에 대해 소정개수의 서브 윈도우를 설정하는 영역 설정수단; 및 상기 움직임 분류 및 서브 윈도우 설정이 완료되면, 상기 현재 프레임에서 분류된 움직임 대상의 서브 윈도우 및 이전 프레임에서 분류된 움직임 대상의 서브 윈도우 사이의 시간적 노이즈 제거를 수행하는 노이즈 제거수단을 포함한다.

움직임 검출, 움직임 분류, 서브 윈도우, 시간적 노이즈 제거

Description

디지털 영상 처리기에서 노이즈 제거 장치{Apparatus for reducing noise in digital image processing device}

본 발명은 디지털 영상 처리 장치에 관한 것으로, 보다 상세하게는 움직임 대상의 모션 블러링 없이 최적으로 노이즈를 제거하는 디지털 영상 처리기에서 노이즈 제거 장치에 관한 것이다.

도 9는 종래 기술에 따른 노이즈 제거 장치의 구성을 보이는 블록도로서, 3D 노이즈 제거를 설명한다. 3D 노이즈 제거는 시간적 노이즈 제거(temporal noise reduction)와 공간적 노이즈 제거(spatial noise reduction)를 함께 수행하는 기술이다.

시간적 노이즈 제거부(910)는 이전 프레임과 현재 프레임 간에 노이즈 제거를 수행하는 블록으로, 프레임간의 IIR(infinite impulse response) 필터 기능을 수행한다. 프레임간 사용되는 IIR 필터의 수식은 수학식 1과 같다.

상기 수학식 1에 나타난 바와 같이, 시간적 IIR 필터 기능을 사용하기 위해서는 현재 프레임과 이전 프레임에서 처리한 IIR_OUT간의 가중치를 계산해야 한다. 가중치 계산부(920)는 도 10에 도시된 바와 같이, 차이값 산출부(921)가 현재 프레임과 이전 프레임의 차이값을 계산하고, 가중치 출력부(922)가 계산된 차이값에 역수가 되는 값을 곱해서 가중치를 계산한다.

공간적 노이즈 제거부(930)는 프레임 내에서 주위의 인접 픽셀값들을 이용하여 노이즈를 저감시킨다.

이와 같이 종래의 3D 노이즈 제거 기술은 프레임간의 IIR 필터 처리를 하기 때문에 도 11에 도시된 바와 같이 모션 블러링이 발생한다. 현재 프레임에서 움직임이 없는 영역(A 영역)에서는 시간적 IIR 필터를 사용하여 랜덤 및 고정 노이즈를 효과적으로 제거할 수 있다. 그러나 움직임이 있는 영역(B 영역)의 경우 3D 노이즈 제거 처리시에 모션 블러링이 발생한다. 이러한 문제점을 해결하기 위해서 모션 벡터를 추출하여 모션이 있는 영역을 검출하고 그 영역에 대한 시간적 IIR 필터의 가중치를 조절하여 모션 블러링을 최소화 하고 있으나, 100 퍼센트 모션 블러링을 제거할 수 없고, 모션 블러링을 최소화 하기 위해서 모션이 발생하는 영역에서는 IIR 필터의 가중치를 최소화 한다. 따라서 움직임 대상에 대해서는 3D 노이즈 제거 효과가 잘 나타나지 않는다.

감시 카메라와 같은 영상 처리 시스템의 경우 움직임 대상이 가장 중요한 정보인데, 이런 중요한 정보에 모션 블러링이 발생하거나 노이즈가 효과적으로 제거 되지 않기 때문에 많은 감시용 카메라에 3D 노이즈 제거 기술이 적용되어 있으나, 실질적으로 3D 노이즈 제거 기술을 사용하고 있지 않은 실정이다.

현재 3D 노이즈 제거 기술은 동영상 처리뿐만 아니라 정지 영상을 처리하는 모든 기기에 필수 기능으로 사용되고 있다. 그 이유는 영상을 캡쳐 또는 영상을 전송하는 과정에서 불필요한 랜덤 노이즈가 추가되고, 그 결과 깨끗한 영상이 아닌 노이즈가 포함된 영상이 만들어지고 있기 때문이다. 이러한 랜덤 노이즈의 경우 2D 노이즈 제거 기술만으로는 한계가 있고 시간적 노이즈 제거 기술이 적용된 3D 노이즈 제거 기술을 사용할 경우 효과가 극대화 된다.

그러나 노이즈 제거 기술 효과가 탁월한 3D 노이즈 제거 기술에도 단점이 있다. 그것은 움직임이 있는 영상의 경우 모션 블러링이 발생하는 것이다. 시간적 노이즈 제거 기술이 적용되기 때문에 프레임간 데이터 처리가 필요하고, 그 결과 모션 블러링이 발생한다. 단 움직임이 없는 영상의 경우 노이즈 제거 효과는 탁월하기 때문에 움직임 영상의 정보가 매우 중요하지 않은 텔레비전이나 디지털 카메라의 경우는 널리 사용된다.

감시 카메라의 경우 저조도시 감시환경이 많고 그에 따라 노이즈가 많은 영상을 캡쳐한다. 이런 시스템의 경우 3D 노이즈 제거 기술은 매우 중요하고, 따라서 현재 많은 제품에서 3D 노이즈 제거 기능을 적용하고 있다. 그러나 감시 카메라의 경우 움직임 영상의 정보가 매우 중요하고 움직임이 없는 영상 보다는 움직임이 있는 영상의 노이즈 제거가 우선되기 때문에 3D 노이즈 제거 기능이 있음에도 불구하고 움직임 영상에서 발생되는 모션 블러링 현상 때문에 3D 노이즈 제거 기능 을 오프하고 사용하고 있다.

본 발명이 해결하고자 하는 기술적인 과제는 움직임 대상의 모션 블러링 없이 최적으로 노이즈를 제거하는 디지털 영상 처리기에서 노이즈 제거 장치를 제공하는데 있다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 디지털 영상 처리기에서 노이즈 제거 장치는 디지털 영상 처리기로서, 현재 프레임으로부터 움직임 정보를 검출하는 움직임 검출수단; 상기 현재 프레임에서 움직임 정보를 기반으로 한 복수의 움직임 대상들에 대한 각각의 휘도신호의 합 및 기 저장된 이전 프레임에서 움직임 정보를 기반으로 한 복수의 움직임 대상들에 대한 각각의 휘도신호의 합에 대한 차이값들 중 최소가 되는 움직임 대상을 선별해서 분류하는 움직임 분류수단; 상기 이전 프레임의 움직임 대상과의 상호 비교를 위해 상기 현재 프레임의 움직임 대상에 대해 소정개수의 서브 윈도우를 설정하는 영역 설정수단; 및 상기 움직임 분류 및 서브 윈도우 설정이 완료되면, 상기 현재 프레임에서 분류된 움직임 대상의 서브 윈도우 및 이전 프레임에서 분류된 움직임 대상의 서브 윈도우 사이의 시간적 노이즈 제거를 수행하는 노이즈 제거수단을 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 노이즈 제거 결과를 저장하는 메모리를 더 포함할 수 있다.

본 발명에 있어서, 상기 움직임 검출수단은 상기 움직임 검출 정보로 상기 현재 프레임의 움직임 대상 영역의 시작 위치, 크기 및 중심 위치를 검출할 수 있다.

본 발명에 있어서, 상기 움직임 분류수단은 상기 현재 프레임의 복수의 움직임 대상 영역들의 중심 위치를 기반으로 상기 각 움직임 대상 영역의 휘도신호를 합산하는 합산부; 및 상기 현재 프레임에서 움직임 대상 영역들의 휘도신호 합 및 상기 이전 프레임에서 움직임 대상 영역들의 휘도신호 합을 각각 감산한 차이값들이 최소가 되는 움직임 대상 영역을 선별하여 분류하는 움직임 분류부를 포함할 수 있다.

본 발명에 있어서, 상기 영역 설정수단은 상기 현재 프레임에서 검출된 움직임 대상 영역의 크기를 바탕으로 서브 윈도우를 설정하며, 상기 서브 윈도우의 개수는 외부로부터 입력될 수 있다.

본 발명에 있어서, 상기 노이즈 제거수단은 이전 프레임의 움직임 대상 영역에서 상기 서브 윈도우를 스캔하고 SAD(sum of absolute difference) 계산을 수행하는 서브 윈도우 스캔 및 SAD 계산부; 상기 이전 프레임에서 가장 유사한 서브 윈도를 선택하는 유사 서브 윈도우 선택부; 상기 이전 프레임에서 계산된 SAD를 기반으로 가중치를 계산하는 가중치 계산부; 및 상기 현재 프레임에서 움직임 대상의 서브 윈도우 및 상기 현재 서브 윈도우와 가장 유사한 이전 프레임에서 움직임 대상의 서브 윈도우의 시간적 IIR 계산을 수행하는 시간적 IIR 계산부를 포함할 수 있다.

본 발명에 따르면, 움직임 대상의 모션 블러링 없이 최적으로 노이즈를 제거하여 선명한 영상을 획득할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

종래의 노이즈 제거 기술은 움직임 대상의 경우 모션 블러링이 발생하던지, 아니면 움직임 대상을 검출(모션 벡터 또는 프레임 차이값 사용)하여 그 영역에서는 3D 노이즈 제거를 바이패스하고, 2D 노이즈 제거(공간적 노이즈 제거)만을 적용하였다. 이렇게 2D 노이즈 제거만을 사용할 경우 모션 블러링은 없어지겠지만, 움직임 대상의 노이즈는 최적으로 제거되지 않아서 중요한 정보를 잃게 된다.

이에 본 발명에서는 움직임 대상 영상에 대해 모션 블러링을 발생시키지 않고 3D 노이즈 제거를 구현하여 노이즈를 최적화시키는 기술을 제안한다.

도 1은 본 발명에 따른 디지털 영상 처리기에서 노이즈 제거 장치의 구성을 보이는 블록도로서, 움직임 검출부(110), 움직임 분류(classification)수단(120), 서브 윈도우 설정수단(130), 움직임 대상 3차원 노이즈 제거수단(140) 및 메모리(150)를 포함한다.

움직임 검출수단(110)은 현재 프레임에서 모션 검출 알고리즘을 사용하여 움직임을 검출한다. 현재 움직임 검출 알고리즘은 널리 개발되어 있다. 현재 프레임과 이전 프레임간의 차이값을 사용하는 방법 또는 학습을 통한 움직임 검출 방법 등이 사용된다.

도 2는 움직임 검출수단(110)을 설명하기 위한 도면으로, 움직임 검출 알고리즘 중 현재 프레임과 이전 프레임간의 차이값을 사용하여 움직임 대상의 움직임 정보를 검출하는데, 움직임 정보로 움직임 대상 영역의 시작 위치(111), 크기(x, y)(112) 및 중심 위치(113)를 검출한다.

움직임 분류수단(120)은 현재 프레임에서 움직임 대상 영역의 중심 위치(113)를 기반으로 한 복수의 움직임 대상들에 대한 각각의 휘도신호의 합 및 기 저장된 이전 프레임에서 움직임 대상 영역의 시작위치(111) 및 크기(112)를 바탕으로 한 복수의 움직임 대상들에 대한 각각의 휘도신호의 합에 대한 차이값들 중 최소가 되는 움직임 대상을 선별해서 분류한다.

도 3은 도 1 중 움직임 분류수단(120)을 설명하기 위한 도면으로, 움직임 검출 영역의 휘도신호 합산부(121) 및 움직임 분류부(122)를 포함한다.

움직임 검출 영역의 휘도신호 합산부(121)는 움직임 검출수단(110)에서 계산된 움직임 대상 영역의 시작위치(111), 크기(112) 및 중심 위치(113)를 기반으로 움직임 대상 영역의 휘도신호(intensity)를 합산한다.

휘도신호 합산 수식은 수학식 2와 같다.

수학식 2에서 v(i,j)는 움직임 영역 내의 휘도신호 값이고, x, y 값은 움직임 검출수단(110)에서 검출된 움직임 대상 영역의 시작위치(111) 및 크기(112) 정 보 이다.

움직임 분류부(122)는 현재 프레임의 휘도신호 합과 메모리(150)에 저장된 이전 프레임의 휘도신호 합 결과를 기반으로 움직임 분류를 수행한다. 도 4는 움직임 분류부(122)를 설명하기 위한 도면이다. 현재 프레임에서 검출된 움직임 대상이 여러 개 존재 할 수 있기 때문에 움직임 분류를 거치지 않으면 움직임 대상 간 3D 노이즈 제거를 수행할 수 없다.

도 4에 도시된 바와 같이 현재 프레임에서 2개의 움직임 대상이 검출되었다면(cur1(n), cur2(n)), 이를 바탕으로 휘도신호 합과 중심 위치(112)가 구해지고, 그 결과를 바탕으로 메모리(150)에 저장된 이전 프레임의 움직임 대상(a(n-1), b(n-1))의 움직임 정보를 기반으로 한 휘도신호 합의 차이값을 각각 구하게 된다. 그 결과 각각의 움직임 대상에 대한 현재 프레임의 휘도신호 합 및 이전 프레임의 휘도신호 합의 차이값이 최소가 되는 움직임 대상을 선별해서 분류한다.

도 4에서 이전 프레임의 움직임 대상 a(n-1)과 현재 프레임의 움직임 대상 a(n)이 분류되고, 이전 프레임의 움직임 대상 b(n-1)과 현재 프레임의 움직임 대상 b(n)이 분류되었다.

서브 윈도우 설정수단(130)은 움직임 대상 간 3D 노이즈 제거를 구현하기 위해 검출된 움직임 대상의 크기에 따라 서브 윈도우의 크기를 정한다. 서브 윈도우는 현재 프레임의 움직임 대상 영역과 이전 프레임의 움직임 대상 영역을 상호 비교하는 최소의 단위가 된다.

도 5는 서브 윈도우 설정수단(130)을 설명하기 위한 도면이다. 움직임 검출 수단(110)에서 검출된 움직임 대상 영역의 크기(112) 즉, Y_size, X_size를 바탕으로 서브 윈도우를 결정하게 된다. 서브 윈도우를 너무 작게 설정할 경우 계산량이 증가하게 되고, 서브 윈도우를 너무 크게 설정할 경우 3D 노이즈 제거 시에 모션 블러링이 발생하게 된다. 따라서 서브 윈도우의 개수를 결정하는 K 팩터는 사용자가 설정할 수 있도록 한다.

움직임 대상 3차원 노이즈 제거수단(140)은 움직임 분류수단(120)의 움직임 분류 및 서브 윈도우 설정수단(130)의 서브 윈도우 설정이 완료되면, 현재 프레임에서 분류된 움직임 대상의 서브 윈도우 및 이전 프레임에서 분류된 움직임 대상의 서브 윈도우 사이의 시간적 노이즈를 제거한다.

도 6은 움직임 대상 3차원 노이즈 제거수단(140)을 설명하기 위한 도면으로, 서브 윈도우 스캔 및 SAD(sum of absolute difference) 계산부(141), 유사 서브 윈도우 선택부(142), 가중치 계산부(143), 시간적 IIR 계산부(144)를 포함한다.

서브 윈도우 스캔 및 SAD(sum of absolute difference) 계산부(141)는 현재 선택된 서브 윈도우를 기반으로 이전 프레임 움직임 대상 영역에서 스캔을 진행하여, 가장 유사한 서브 윈도우를 찾기 위해 SAD 계산을 수행한다.

여기서 SAD는 영상의 변위차를 찾아낼 수 있는 알고리즘으로, 현재 프레임에서 임의의 서브 윈도우를 두고, 이전 프레임에서 상기 서브윈도우와 픽셀값에 대한 절대값의 차이를 계산하여, 가장 차이가 적은 서브 윈도우를 찾아 내고, 그 차이값을 가공하여 사용하게 된다.

유사 서브 윈도우 선택부(142)는 SAD 계산 결과 절대값의 차이가 가장 작은 서브 윈도우를 선택한다.

가중치 계산부(143)는 도 7에 도시된 바와 같이 선택된 이전 프레임의 SAD에 역수가 되는 값을 곱해서 가중치를 계산한다.

시간적 IIR 계산부(144)는 도 8에 도시된 바와 같이 시간적 IIR 계산부(144)는 현재 프레임의 움직임 대상 영역의 서브 윈도우(cur_서브윈도우(x,y)) 및 현재 서브 윈도우와 가장 유사한 이전 프레임의 움직임 대상 영역의 서브 윈도우(old_서브윈도우(x,y))의 시간적 IIR 계산을 수행하여 노이즈를 제거하는 블록으로, 서브 윈도우간 사용되는 IIR 필터의 수식은 수학식 3과 같다.

상기 수학식 3에 나타난 바와 같이, 시간적 IIR 필터 기능을 사용하기 위해서 가중치 계산부(143)에서 계산된 SAD를 이용한 가중치(w(i))를 이용한다.

메모리(150)는 처리된 시간적 IIR 계산 결과를 저장하여, 다음 프레임에 사용되도록 한다.

이와 같은 동작으로 움직임 대상 영상에 대해 모션 블러링을 발생시키지 않고 3D 노이즈 제거를 구현하여 노이즈를 최적화시킬 수 있게 된다.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 발명에 따른 디지털 영상 처리기에서 노이즈 제거 장치의 구성을 보이는 블록도 이다.

도 2는 도 1 중 움직임 검출수단을 설명하기 위한 도면이다.

도 3은 도 1 중 움직임 분류수단을 설명하기 위한 도면이다.

도 4는 도 3 중 움직임 분류부를 설명하기 위한 도면이다.

도 5는 도 1 중 서브 윈도우 설정수단을 설명하기 위한 도면이다.

도 6은 도 1 중 움직임 대상 3차원 노이즈 제거수단을 설명하기 위한 도면이다.

도 7은 도 6중 가중치 계산부를 설명하기 위한 도면이다.

도 8은 도 6중 시간적 IIR 계산부를 설명하기 위한 도면이다.

도 9는 종래 기술에 따른 노이즈 제거 장치의 구성을 보이는 블록도 이다.

도 10은 도 9중 가중치 계산부를 설명하기 위한 도면이다.

도 11은 도 9에서 노이즈 제거를 설명하기 위한 도면이다.

Claims (6)

1. 현재 프레임으로부터 움직임 정보를 검출하는 움직임 검출수단;

   상기 현재 프레임에서 움직임 정보를 기반으로 한 복수의 움직임 대상들에 대한 각각의 휘도신호의 합 및 기 저장된 이전 프레임에서 움직임 정보를 기반으로 한 복수의 움직임 대상들에 대한 각각의 휘도신호의 합에 대한 차이값들 중 최소가 되는 움직임 대상을 선별해서 분류하는 움직임 분류수단;

   상기 이전 프레임의 움직임 대상과의 상호 비교를 위해 상기 현재 프레임의 움직임 대상에 대해 소정개수의 서브 윈도우를 설정하는 영역 설정수단; 및

   상기 움직임 분류 및 서브 윈도우 설정이 완료되면, 상기 현재 프레임에서 분류된 움직임 대상의 서브 윈도우 및 이전 프레임에서 분류된 움직임 대상의 서브 윈도우 사이의 시간적 노이즈 제거를 수행하는 노이즈 제거수단;을 포함하고,

   상기 노이즈 제거 수단은,

   상기 이전 프레임의 움직임 대상 영역에서 상기 서브 윈도우를 스캔하고 SAD(sum of absolute difference) 계산을 수행하는 서브 윈도우 스캔 및 SAD 계산부;

   상기 이전 프레임에서 상기 현재 프레임의 서브 윈도우와 가장 유사한 서브 윈도우를 선택하는 유사 서브 윈도우 선택부;

   상기 이전 프레임에서 계산된 SAD를 기반으로 가중치를 계산하는 가중치 계산부; 및

   상기 현재 프레임에서 움직임 대상의 서브 윈도우 및 상기 현재 서브 윈도우와 가장 유사한 상기 이전 프레임에서 움직임 대상 서브 윈도우에 상기 가중치를 적용하여 시간적 IIR(infinite impulse response) 계산을 수행하는 시간적 IIR 계산부;를 포함하는 것을 특징으로 하는 디지털 영상 처리기에서 노이즈 제거 장치.
2. 청구항 2은(는) 설정등록료 납부시 포기되었습니다.

   제 1항에 있어서,

   상기 노이즈 제거 결과를 저장하는 메모리;를 더 포함하는 것을 특징으로 하는 디지털 영상 처리기에서 노이즈 제거 장치.
3. 제 1항에 있어서, 상기 움직임 검출수단은,

   상기 움직임 검출 정보로 상기 현재 프레임의 움직임 대상 영역의 시작 위치, 크기 및 중심 위치를 검출하는 것을 특징으로 하는 디지털 영상 처리기에서 노이즈 제거 장치.
4. 제 3항에 있어서, 상기 움직임 분류수단은

   상기 현재 프레임의 복수의 움직임 대상 영역들의 중심 위치를 기반으로 상기 각 움직임 대상 영역의 휘도신호를 합산하는 합산부; 및

   상기 현재 프레임에서 움직임 대상 영역들의 휘도신호 합 및 상기 이전 프레임에서 움직임 대상 영역들의 휘도신호 합을 각각 감산한 차이값들이 최소가 되는 움직임 대상 영역을 선별하여 분류하는 움직임 분류부를 포함하는 것을 특징으로 하는 디지털 영상 처리기에서 노이즈 제거 장치.
5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.

   제 4항에 있어서, 상기 영역 설정수단은,

   상기 현재 프레임에서 검출된 움직임 대상 영역의 크기를 바탕으로 서브 윈도우를 설정하며, 상기 서브 윈도우의 개수는 외부로부터 입력되는 것을 특징으로 하는 디지털 영상 처리기에서 노이즈 제거 장치.
6. 삭제

Images