KR100821939B1

KR100821939B1 - 영상 잡음 제거 장치 및 방법

Info

Publication number: KR100821939B1
Application number: KR1020060132977A
Authority: KR
Inventors: 강문기; 신건식; 장준영
Original assignee: 연세대학교 산학협력단
Priority date: 2006-12-22
Filing date: 2006-12-22
Publication date: 2008-04-15

Abstract

통계적 유사성에 기반한 디지털 카메라용 영상 잡음 제거 장치 및 방법을 제시한다.

본 발명의 영상 잡음 제거 장치는 지정된 크기로 분할되어 순차적으로 입력되는 영상 신호 각각에 대하여 경계 지역이 포함되어 있는지 확인하고, 경계 지역 포함 여부 및 경계 지역의 방향에 따라 각기 다른 문턱값 행렬을 생성하여 순차적으로 출력하는 문턱값 행렬 결정부 및 순차적으로 입력되는 영상 신호에 대하여, 문턱값 행렬 결정부로부터 순차적으로 수신한 문턱값 행렬을 적용하여 잡음을 보상한 후 출력하는 잡음 보상부를 포함하여, 에지의 방향성을 고려한 공간 적응적 문턱값을 적용하여 영상 신호로부터 잡음을 제거할 수 있어 영상 신호의 품질을 향상시킬 수 있다.

영상, 잡음, 경계

Description

영상 잡음 제거 장치 및 방법{Apparatus and Method for Image Noise Reduction}

도 1은 본 발명의 일 실시예에 의한 영상 잡음 제거 장치의 구성도,

도 2는 도 1에 도시한 문턱값 행렬 결정부의 상세 구성도,

도 3a 내지 3c는 본 발명에 적용되는 문턱값 행렬을 설명하기 위한 도면,

도 4는 내지 도 8은 본 발명을 적용하여 영상 신호로부터 잡음을 제거한 경우를 설명하기 위한 일 예시도,

도 9는 본 발명의 일 실시예에 의한 영상 잡음 제거 방법을 설명하기 위한 흐름도,

도 10은 베이어 포맷 영상 신호의 잡음 제거 개념을 설명하기 위한 도면,

도 11 내지 도 13은 잡음 제거 시점에 따른 영상 신호의 잡음 제거 정보를 설명하기 위한 도면이다.

<도면의 주요 부분에 대한 부호 설명>

10 : 영상 잡음 제거 장치 110 : 문턱값 행렬 결정부

120 : 잡음 보상부 1110 : 변화율 판단 모듈

1120 : 에지 방향 결정 모듈 1130 : 문턱값 산출 모듈

1140 : 문턱값 행렬 생성 모듈

본 발명은 잡음 제거 장치 및 방법에 관한 것으로, 보다 구체적으로는 통계적 유사성에 기반한 디지털 카메라용 영상 잡음 제거 장치 및 방법에 관한 것이다.

잡음 제거는 상당히 오래 전부터 연구되어 온 영상처리 분야의 하나이다. 잡음 제거 알고리즘은 기본적으로 영상 신호를 저역 통과 필터(low pass filter)를 통과시키는 것으로, 단순한 잡음 제거 알고리즘의 경우 평탄 영역(저주파 성분)에서는 잡음이 제거되더라도 경계 지역(고주파 성분)에 대한 영상신호가 심하게 훼손된다. 따라서, 영상 잡음 제거시에는 고주파 성분을 보존하면서 잡음을 제거하는 것이 매우 중요하다.

전통적으로, 국부 영역의 확률적 특성을 이용한 잡음 제거 알고리즘이 주로 사용되어 왔으며, 이러한 방법에서는 LLMMSE(Local Linear Minimum Mean Square Error) 필터를 사용한다. LLMMSE 필터는 NMNV(Non stationary Mean Non stationary Variance) 영상 모델에 기반을 두고 있으며, 다음의 [수학식 1]와 같이 표현된다.

[수학식 1]

[수학식 1]에서,

는 공간영역 좌표 (i,j)에서 LLMMSE 필터를 사용하여 잡음을 제거한 후의 픽셀 값을 의미하고,

,

은 각각 x(잡음이 섞이기 전의 원 영상)와 n(잡음)의 비정적(non stationary) 분산을 나타낸다. 여기서 잡음의 분산인

는 추정해서 사용하거나 미리 알고 있는 값이라고 가정을 한다.

는 실제로 구할 수 없는 값이기 때문에 잡음이 섞인 원 영상의 분산(

)에서 잡음의 분산(

)을 뺀 값(

-

)으로 사용한다. 또한, y(i,j)는 공간영역 좌표 (i,j)에서 잡음이 섞인 입력 신호를 나타내고, E()는 해당 신호를 평활화한 신호를 나타낸다.

LLMMSE 필터는 평탄 영역 (

인 영역) 에서는 잡음을 평활화(

)시키는 반면에 경계 근처의 화소(

) 들은 거의 필터링 하지 않는다(

). 이에 따라, LLMMSE 필터를 이용한 잡음 제거 알고리즘을 적용하는 경우 평탄 영역에서의 잡음은 효과적으로 제거되지만, 경계 근처에서는 거의 잡음 필터링을 하지 않기 때문에 경계 근처에서 잡음을 효과적으로 제거하지 못하게 된다.

LLMMSE 필터를 이용한 방법의 문제점은 저조도 환경에서 잡음이 심하게 섞이 는 경우 더욱 심화되어, 출력되는 영상 신호가 부자연스러운 결과를 초래하기 때문에 저조도 환경에서는 LLMMSE 방법이 기피되어 왔다.

그 외의 잡음 제거 알고리즘으로서, 하드웨어로 구현이 간단한 필터링 기법들이 실질적으로 많은 영상처리 응용분야에서 사용되고 있다. 예를 들어, 가우시안의 통계적 특성을 가지는 잡음을 제거하기 위해서는 평균값 필터(Average filter), 라플라시안의 통계적 특성을 가지는 잡음을 제거하기 위해서는 중간값 필터(Median filter)가 사용되었다.

기본적인 평균값 필터는 국부 영역 내의 화소 값들의 평균을 취하는 방법으로, 저주파 필터링 방식이기 때문에 잡음뿐 아니라 영상에 필요한 고주파 성분(경계 영역의 신호 성분)까지 제거되어 영상의 세밀한 부분이 제거되는 문제점이 있다. 이를 해결하기 위해서 영상의 비정적(nonstationary) 특성을 반영, 영상의 국부 통계치를 구하기 위하여 마스크(영상 처리 단위) 내에서 영상의 윤곽선을 가로지르지 않는 범위 내에서 다음의 [수학식 2]와 같이 계산하여 잡음 제거된 영상 신호를 획득한다.

[수학식 2]

[수학식 2]에서, S_i,j;k는 마스크(입력 영상을 해당 좌표(i, j, k) 중심으로 하여 지정된 크기로 나눈 영역)를 의미하고, 마스크의 크기는 일반적으로 5×5 또는 7×7을 사용한다(도 3a 내지 3c는 5×5 마스크에 적용되는 문턱값 행렬을 나타냄). w(m,n;l)은 가중치 함수로 [수학식 3]과 같으며, k(i,j;k)는 정규화를 위한 상수이다.

[수학식 3]

평균값 필터는 실시간 구현이 가능할 정도로 계산이 간단하지만, 윤곽선을 보존하기 위해서 사용되는 가중치 함수(w())가 두 화소 값의 차이로만 결정되기 때문에 잡음에 영향을 많이 받게 되고, 윤곽선 주위의 잡음은 효과적으로 제거하지 못한다. 그리고, 평탄 영역에서 지나치게 평활화하기 때문에 영상이 자연스럽지 못한 단점이 있다.

한편, 중간값 필터는 소금과 후추 잡음(salt and pepper noise)과 같이 라플라시안 잡음(확률적으로 1차 특성 잡음)을 제거하는 데 효율적이며, [수학식 4]를 이용하여 잡음 제거된 신호값을 얻는다.

[수학식 4]

여기에서, (m,n)은 영상의 좌표를 의미하고, S_i,j는 (i,j)를 중심으로 하는 마스크를 의미하며, (i,j)는 영상의 가로/세로 픽셀의 주소를 의미한다. 또한, median{}은 S_i,j에 속한 픽셀 값을 정렬한 후 중간값을 취하는 함수를 의미한다. 중간값 필터는 에지 영역을 잘 보존하면서도 평탄 영역에서 잡음을 효과적으로 제거할 수 있는 이점이 있지만, 얇은 선이나 모퉁이 등의 정보는 훼손되는 문제점이 있다. 또한, 중간값 필터를 이용한 잡음 제거 알고리즘에서는 중간값을 구하기 위해 정렬 연산을 수행하여야 하므로, 연산량이 증가되어 하드웨어 구현이 어렵고, 실제로 거의 사용되지 않고 있다.

이와 같이, 현재의 영상 잡음 제거 알고리즘은 평탄 영역에 대한 잡음은 효과적으로 제거할 수 있으나, 경계 지역에서의 잡음 제거가 이루어지지 않거나, 경계 지역에서의 잡음을 고려하는 경우 연산량이 증가하는 문제점이 있다.

한편, CCD나 CMOS 센서와 같은 영상 획득 장치에서는 그 특성상 광량이나 열에 의해 잡음이 발생한다. 그런데, 이러한 잡음은 흔히 사용되는 잡음의 모델링처럼 가우시안 또는 라플라시안의 통계적 특성을 갖지 않고, 신호에 의존적인 특성을 갖는다. 이에 따라 센서의 잡음은 백색 잡음이 아니기 때문에 일반적인 잡음 제거 알고리즘으로는 쉽게 제거할 수 없는 문제가 있다.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 영상 신호의 지역적 특성들을 이용하여 평탄 영역뿐 아니라 경계 영역에서의 잡음을 효과적으로 제거할 수 있는 영상 잡음 제거 장치 및 방법을 제공하는 데 그 기술적 과제가 있다.

본 발명의 다른 기술적 과제는 평탄 영역과 경계 영역에 대한 잡음을 효과적으로 제거하면서도 연산량을 감소시켜 영상 신호의 처리 속도를 향상시킬 수 있도록 하는 데 있다.

아울러, 본 발명의 또 다른 기술적 과제는 저조도 환경에서 신호에 의존적인 잡음을 제거하여 자연스러운 영상을 출력함과 동시에, 잡음 제거 이후 수행되는 압축 과정에서 압축 효율을 개선하도록 하는 데 있다.

상술한 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 의한 영상 잡음 제거 장치는 지정된 크기로 분할되어 순차적으로 입력되는 영상 신호 각각에 대하여 경계 지역이 포함되어 있는지 확인하고, 경계 지역 포함 여부 및 경계 지역의 방향에 따라 각기 다른 문턱값 행렬을 생성하여 순차적으로 출력하는 문턱값 행렬 결정부; 및 상기 순차적으로 입력되는 영상 신호에 대하여, 상기 문턱값 행렬 결정부로부터 순차적으로 수신한 문턱값 행렬을 적용하여 잡음을 보상한 후 출력하는 잡음 보상부;를 포함한다.

여기에서, 문턱값 행렬 결정부는 상기 지정된 크기로 분할되어 입력되는 영상 신호 각각에 대하여 수직 방향 변화율 및 수평 방향 변화율을 산출하는 변화율 판단 모듈; 상기 변화율 판단 모듈에서 산출한 변화율에 따라, 해당 분할 영상에 경계 지역이 포함되어 있는지, 경계 지역이 포함되어 있는 경우 수평 경계 지역인지 또는 수직 경계 지역인지 판단하는 에지 방향 결정 모듈; 상기 에지 방향 결정 모듈에서 결정한 경계의 방향에 따라, 경계 지역이 포함되어 있지 않은 영상 신호에 적용할 제 1 문턱값을 산출하고, 경계 지역이 포함되어 있는 영상 신호에 적용할 제 2 문턱값 및 제 3 문턱값을 산출하는 문턱값 산출 모듈; 및 상기 제 1 문턱값 내지 제 3 문턱값을 이용하여 상기 순차적으로 입력되는 영상 신호의 잡음 보상에 적용하기 위한 문턱값 행렬을 도출하는 문턱값 산출 모듈;을 포함한다.

또한, 본 발명의 일 실시예에 의한 영상 잡음 제거 방법은 지정된 크기로 분 할된 각각의 영상 신호를 순차적으로 수신하는 제 1 과정; 상기 각각의 영상 신호에 경계 지역이 포함되어 있는지 판단하고, 경계 지역 포함 여부 및 경계 지역의 방향에 따라 문턱값 행렬을 순차적으로 생성하는 제 2 과정; 및 상기 각각의 영상 신호를 순차적으로 수신하여, 상기 제 2 과정의 수행 결과로 출력되는 문턱값 행렬을 상기 각각의 영상 신호에 적용하여 잡음을 제거하여 출력하는 제 3 과정;을 포함을 포함한다.

여기에서, 상기 제 2 과정은, 상기 지정된 크기로 분할되어 입력되는 각각의 영상 신호에 대하여 수직 방향 및 수평 방향 변화율을 판단하는 제 1 단계; 상기 수직 방향 변화율과 수평 방향 변화율의 크기 및 차이값을 참조하여, 해당 영상 신호의 경계 지역 포함 여부 및 경계 지역의 방향을 판단하는 제 2 단계; 상기 제 2 단계의 판단 결과, 상기 영상 신호가 평탄 영역으로 이루어진 경우 제 1 문턱값을 적용하여 문턱값 행렬을 생성하고, 상기 영상 신호에 경계 지역이 포함되어 있는 경우 경계의 방향과 일치하도록 제 2 문턱값을 적용하고, 그 외 지역에 제 2 문턱값보다 작은 값을 갖는 제 3 문턱값을 적용한 문턱값 행렬을 생성하는 제 3 단계;를 포함한다.

잡음 제거 방법 자체는 잡음을 제거하고자 하는 픽셀과 유사한 픽셀들을 평균하는 것을 기본 원리로 한다. 이는 모든 잡음들의 통계적 평균이 0이라는 사실을 이용한 것이며, 잡음에 바이어스가 들어가 평균이 0이 되지 않는 경우에도 이 바이어스를 찾아서 적용하게 되면 역시 잡음의 통계적 평균은 0이라는 가정을 할 수 있게 된다.

따라서, 처리되는 픽셀과 가장 유사한 픽셀들을 추출하는 것은 잡음 제거 그 자체보다 더욱 중요한 문제라고 할 수 있다. 따라서, 본 발명에서는 처리되는 픽셀과 유사한 성질을 가진 픽셀을 탐색하고, 유사한 픽셀들간의 평균을 구하여 영상 신호의 잡음을 제거한다.

유사한 성질을 가진 픽셀들을 탐색하기 위하여 지역적인 특성들(Local Property; LP)이 사용되며, 이러한 지역적인 특성들은 모듈화가 가능하여 사용자가 다양한 LP 중 원하는 것을 선택하여 사용할 수 있다.

본 발명에서는 3가지 LP를 고려하며, 픽셀들 간의 물리적인 인접성(LP1), 픽셀들 간의 빛의 밝기에 따른 유사성(LP2) 및 에지의 방향성을 이용하여 동일 에지 위에 있는 화소들의 유사성(LP3)을 고려한 공간 적응적 문턱값이 그것이다. 이러한 지역적 특성들을 고려하여 잡음이 섞인 입력 영상으로부터 에지의 방향을 판단하고, 에지의 방향에 따라 각기 다른 기준을 적용하여 물리적 인접성과 빛의 밝기에 따른 유사성을 고려하여 잡음을 제거함으로써, 평탄면, 수직 경계 지역 및 수평 경계 지역 모두에서 잡음이 제거된 자연스러운 영상을 획득할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 구체적으로 설명하기로 한다. 이하의 설명에서 기존과 동일한 변수에 대한 설명은 생략할 것이다.

도 1은 본 발명의 일 실시예에 의한 영상 잡음 제거 장치의 구성도이다.

도시한 것과 같이, 본 발명에 의한 영상 잡음 제거 장치(10)는 문턱값 행렬 결정부(110) 및 잡음 보상부(120)를 포함한다.

본 발명에서는 영상 신호가 입력되면, 영상의 가로, 세로 방향으로의 변화율 을 판단하여 입력된 영상 신호에 수평 경계 영역이 포함되어 있는지, 수직 경계 영역이 포함되어 있는지 또는 경계 영역이 포함되어 있지 않은지(즉, 평탄 영역인지) 확인하고, 영상 신호의 특성에 따라 각기 다른 문턱값 행렬을 적용하여 잡음을 제거한다.

이를 위하여, 문턱값 행렬 결정부(110)는 입력 영상 신호의 수직 방향 변화율 및 수평 방향 변화율을 각각 구하고, 수직 및 수평 방향 변화율에 따라 경계 지역을 포함하고 있는지의 여부와, 경계 지역을 포함하고 있는 경우 경계의 방향을 결정하며, 영상 신호의 경계 지역 포함 여부 및 경계의 방향에 따라 문턱값 행렬을 생성한다.

다시 말해, 입력된 영상 신호에 경계 지역이 포함되어 있는 경우, 경계에 위치한 픽셀들은 그 유사도가 높은 것을 가정하여, 미리 경계의 방향성을 예측한 후에 그 경계의 방향에 대해서는 문턱값을 높게 설정해 주고, 경계가 아닌 픽셀에 대해서는 문턱값을 낮게 설정하는 문턱값 행렬을 생성하고, 입력된 영상 신호에 경계 지역이 포함되어 있지 않은 경우에는 모든 영역에 걸쳐 동일한 문턱값이 적용되도록 문턱값 행렬을 생성하는 것이다.

이후, 잡음 보상부(120)는 문턱값 행렬 결정부(110)에서 출력되는 문턱값 행렬과 입력 영상 신호를 이용하여 잡음을 보상하며, 이때에는 픽셀들 간 빛의 밝기의 유사성을 기초로 하여 잡음을 보상한다.

픽셀들 간 빛의 밝기의 유사성 및 물리적인 인접성을 고려한 잡음 보상부(120)의 잡음 보상 동작에 대하여 구체적으로 설명하면 다음과 같다.

현실 세계를 촬영한 대부분의 영상 신호들은 물리적으로 서로 연결되기 마련이며, 이것은 서로 인접한 픽셀들끼리 유사할 확률이 높다는 것을 의미한다. 이러한 특성을 이용하여 처리되는 픽셀 주위로 특정 영역에 들어오는 픽셀들을 모두 유사한 픽셀로 간주할 수 있다.

도 4는 내지 도 8은 본 발명을 적용하여 영상 신호로부터 잡음을 제거한 경우를 설명하기 위한 일 예시도로서, 도 4는 저조도 환경에서 획득한 잡음이 포함된 영상이다.

도 4의 영상에 대하여, 픽셀들 간의 물리적 인접성을 고려하여 [수학식 5]를 이용하여 잡음을 제거하게 되면, 도 5와 같은 영상이 획득된다.

[수학식 5]

(i,j)는 영상의 가로/세로 픽셀의 주소를 의미하고, n은 영상의 프레임 번호를 나타낸다. 또한, k 및 ㅣ은 해당 픽셀(i,j)의 인접 픽셀들을 정의하기 위한 값이고, m은 해당 픽셀(i,j)이 시간의 흐름에 따른 변화된 값을 정의하기 위한 값을 의미하는데, 보다 구체적으로는 k 및 l은 이웃 픽셀 값의 주소를 나타내기 위한 정수 변수이며, m은 이웃 프레임의 주소를 나타내기 위한 정수이다. k와 l의 범위는 S_m,n,k에 의해 정의되며, -K≤k≤K, -L≤l≤L일 때, S_m,n,k={k,l│-K≤k≤K, -L≤l≤L}이 된다. 예를 들어, 마스크의 크기가 5×5인 경우, K 및 L은 각각 2가 되고, 현재 처리하고 있는 픽셀의 주소가 (i,j)라면, (i+k, j+l)의 주소를 갖는 이웃 픽셀들이 잡음 제거에 사용되게 된다. N은 m이 가질 수 있는 범위를 정의한 집합으로, -M≤m≤M이 경우 N={m│-M≤m≤M}이 된다. 예를 들어, 잡음 제거를 위해 현재 프레임만을 사용한다면 M=0이 되고, 이후 프레임과 이전 프레임까지를 사용한다면 M=1이 된다. 한편,

은 픽셀들 간의 물리적 인접성(LP1)만을 고려하여 잡음을 제거한 픽셀 값을 나타내고, y()는 잡음이 포함된 입력 영상을 의미하고, w()는 공간 시간적 가우시안 가중치 함수를 의미한다. 특히, w()는 잡음 제거를 수행할 때, 현재 처리하는 픽셀의 가중치를 이웃 픽셀의 가중치보다 크게 하여 영상이 심하게 블러(blur)되는 것을 방지하는 역할을 한다.

도 5를 참조하면, 영상의 전체적인 골격은 유지되었고 잡음도 자연스럽게 제거되었으나, 원래의 잡음 영상에 비해 블러(Blur) 현상이 많이 발생한 것을 확인할 수 있다. 또한, 영상과 영상 간에도 물리적으로 가까운 픽셀들을 참조하여 잡음을 제거하였기 때문에, 움직임이 있는 부분의 경우 결과 영상에서와 같이 시간 축으로도 블러 현상이 발생하여 고스트 현상이 일어난 것을 알 수 있다.

픽셀들 간의 물리적 인접성 만을 고려한 잡음 제거시의 상기와 같은 단점을 해결하기 위해 픽셀들 간 빛의 밝기에 따른 유사성(LP2)을 고려하여 잡음을 제거할 수 있다.

유사 픽셀들은 서로 비슷한 물리적 성질을 가져야 하므로 빛의 밝기가 비슷하다고 가정할 수 있다. 따라서, 빛의 밝기를 양자화한 값인 그레이 값(gray value) 역시 비슷한 값을 가져야 한다. 잡음 정도에 따라 결정되는 제 1 문턱값(T₁)을 적용하여 [수학식 6]에 의해 잡음을 제거한 경우 도 6과 같은 영상을 획득할 수 있다.

[수학식 6]

여기에서,

은 픽셀들 간의 물리적 인접성(LP1)과 픽셀 값의 밝기의 유사성(LP2)을 동시에 고려하여 잡음을 제거한 필셀 값을 나타낸다. 그리고, [수학식 6]에서 If문은 y(i+k, j+l, n+m)의 값이 If문을 만족할 경우에만 ∑에 포함된 연산이 이루어짐을 의미한다. 예를 들어, y(i+k, j+l, n+m)과 y(i,j,k)의 차이가 제 1 문턱값(T₁) 이상일 경우 y(i+k, j+l, n+m)은

를 구하는 ∑ 연산에서 제외된다. 도 6을 참조하면, 도 5에 비하여 블러 현상과 고스트 현상이 제거된 것을 알 수 있다. 그러나, 사람의 눈에 일관된 특성을 가진 것으로 보이는 경계 지역을 확대해서 살펴 볼 경우, 일관되게 이어지지 못한 것을 관찰할 수 있으며, 이는 잡음의 영향으로 그레이 값 자체에 영향을 미쳐서 위치에 따라 일관되게 경계를 살려주지 못하는 원인이 된다.

따라서, 이러한 점을 보완하기 위해 문턱값 행렬 결정부(110)에서 입력 영상에 경계 지역이 포함되어 있는지의 여부를 확인하고, 평탄 영역, 수직 경계 영역, 수평 경계 영역 각각에 적용할 문턱값 행렬을 생성하는 과정이 선행되어야 한다.

도 2는 도 1에 도시한 문턱값 행렬 결정부의 상세 구성도로서, 변화율 판단 모듈(1110), 에지 방향 결정 모듈(1120), 문턱값 산출 모듈(1130) 및 문턱값 행렬 생성 모듈(1140)을 포함한다.

먼저, 변화율 판단 모듈(1110)은 지정된 크기로 분할된 입력 영상 각각에 대하여 다음의 [수학식 7]를 이용하여 입력 영상에서 현재 처리하는 픽셀을 중심으로 하여 일정 마스크 내에 있는 픽셀 값들의 수직 방향 변화율(x_v) 및 수평 방향 변화율(x_h)을 판단한다.

[수학식 7]

그리고, 에지 방향 결정 모듈(1120)은 변화율 판단 모듈(1110)에서 산출한 픽셀 값의 수직/수평 변화율에 따라 해당 분할 영상에 경계 지역이 포함되어 있는지, 경계 지역이 포함되어 있다면 수평 경계 지역인지 또는 수직 경계 지역인지 판단한다. 이를 위하여, 픽셀 값의 수직 및 수평 방향 변화율이 모두 기 설정된 기준값보다 작은 값일 경우에는 평탄 영역인 것으로 판단한다.

한편, 픽셀 값의 수직 방향 변화율과 수평 방향 변화율이 기 설정된 기준값 이상의 값을 가지며, 수직 방향 변화율이 수평 방향 변화율 이상의 값을 갖는 경우에는 수평 방향 경계 지역인 것으로 판단하고, 수직 방향 변화율과 수평 방향 변화율이 기 설정된 기준값 이상의 값을 가지며, 수평 방향 변화율이 수직 방향 변화율보다 클 경우에는 수직 방향 경계 지역인 것으로 판단한다.

문턱값 산출 모듈(1130)은 에지 방향 결정 모듈(1120)에서 결정한 경계의 방향(평탄, 수직, 수평)에 따라 잡음을 제거하는 데 사용할 제 1 내지 제 3 문턱값(T₁, T₂, T₃)을 산출한다. 여기에서, 제 1 문턱값(T₁)은 평탄 영역에 대한 잡음 제거에 사용되며, 평탄영역에서 현재 처리하는 픽셀과 유사한 픽셀을 판단하는 잡음 정도에 따라 설정되는 값이고, 제 2 문턱값(T₂)은 경계를 포함하는 마스크에서 경계 지역에 위치한 픽셀이 현재 처리하는 픽셀과 유사한지를 판단하여 잡음을 제거하는 데 사용되며, 제 3 문턱값(T₃)은 경계를 포함하는 마스크에서 경계 지역에 위치하지 않는 픽셀이 현재 처리하는 픽셀과 유사한지를 판단하여 잡음을 제거하는데 사용된다.

아울러, 제 2 문턱값(T₂) 및 제 3 문턱값(T₃)은 각각 제 1 문턱값(T₁)을 이용하여 [수학식 8] 및 [수학식 9]로부터 얻을 수 있으며, 제 2 문턱값은 제 3 문턱값보다 큰 값이 된다.

[수학식 8]

[수학식 9]

[수학식 8] 및 [수학식 9]에서, 제 1 문턱값(T₁)은 영상의 잡음 정도에 따라 결정되는 문턱값으로, 잡음의 정도가 심할수록 높아지고, 잡음의 정도가 약하면 작아진다.

이와 같이, 제 2 및 제 3 문턱값(T₂, T₃)을 구하여 적용할 경우 경계의 급함에 따라서 문턱값이 결정되게 된다. 만약, 수평 방향 보다 수직 방향 쪽의 경계일 가능성이 뚜렷하다면 x_h의 값이 x_v의 값보다 큰 값을 가질 것이고, x_v와 x_h 간의 값의 차이가 커지면 T₂와 T₃의 차이도 커지기 때문에 픽셀 값이 보다 더 확실하게 수직 방향으로만 유사성이 있다고 판단하고, 수직 방향으로만 평균을 내게 되는 것이다. 이와 반대로, 수직 방향 쪽의 경계일 가능성이 있기는 하지만 뚜렷하지는 않다면 x_h의 값이 x_v의 값과 비슷한 값을 가지고 수직 방향으로 유사성을 고려하되, 수평 방향 쪽 픽셀 값들도 잡음 제거에 사용될 확률이 커지게 된다.

한편, 문턱값 행렬 생성 모듈(1140)은 에지 방향 결정 모듈(1120)로부터 해 당 영상 신호의 에지 방향에 대한 정보를 수신하고, 제 1 내지 제 3 문턱값을 이용하여 문턱값 행렬을 도출하며, 이는 도 3a 내지 3c와 같이 나타낼 수 있다. 여기에서, 도 3a는 수직 방향 경계 지역에서의 잡음을 제거하기 위한 문턱값 행렬(TM_v)이고, 도 3b는 수평 방향 경계 지역에서의 잡음을 제거하기 위한 문턱값 행렬(TM_h)을 의미한다. 아울러, 도 3c는 평탄 영역에 적용되는 문턱값 행렬(TM_f)을 나타낸다.

이와 같이 도출된 문턱값 행렬은 처리되고 있는 영상 신호의 좌표값과 함께 잡음 보상부(120)로 제공되며, 잡음 보상부(120)는 순차적으로 입력되는 영상 신호에 대하여 문턱값 행렬 결정부(110)로부터 수신한 문턱값 행렬을 적용하여 잡음 제거를 수행한다.

만약, 입력 영상에 경계 지역이 포함되어 있는 경우에는 다음의 [수학식 10]을 이용하여 잡음이 제거될 수 있다.

[수학식 10]

[수학식 10]은 문턱값 산출 모듈(1130)에서 도출된 문턱값 행렬(TM_x; TM_v 또는 TM_h)을 이용하여 경계 지역에서 잡음이 제거된 픽셀값(

)을 산출한 결과를 나타낸다.

은 픽셀들 간의 물리적 인접성(LP1), 픽셀 값의 밝기의 유사성(LP2), 그리고 동일 경계 위에 있는 픽셀들의 유사성(LP3)을 동시에 고려하여 잡음을 제거한 픽셀 값을 나타낸다. [수학식 10]에서, 예를 들어 y(i+k, j+l, n+m)과 y(i,j,n)의 차이가 문턱값 행렬의 (k,l) 성분인 TM_x(k,l)보다 클 경우, y(i+k, j+l, n+m)은

를 구하는 ∑ 연산에서 제외된다. 도 3a, 3b 및 3c에서 각 행렬의 정 가운데 위치는 TM_x(0,0)을 의미한다.

이상에서 설명한 잡음 보상부(120)의 동작을 가상 코드로 나타내면 다음과 같다.

If (x_h x_v are small)　　　　　　　　　　 평탄영역 잡음 보상 else { If(x_v<x_h){

} else {

} }

즉, 입력 영상에서 현재 처리하는 픽셀을 중심으로 하여 일정 마스크 내에 있는 픽셀 값들의 수직 방향 변화율(x_v)과 수평 방향 변화율(x_h)이 모두 기 설정된 기준값보다 작은 값일 때는 평탄 영역으로 판단, [수학식 6]과 문턱값 행렬 TM_f를 이용하여 잡음 보상을 수행한다. 반면, 영상 신호의 수직 방향 변화율(x_v)과 수평 방향 변화율(x_h)이 기 설정된 기준값 이상의 값이고, 이 중 수평 방향 변화율이 더 큰 경우에는 수직 경계로 판단하여 문턱값 행렬 TM_v를 이용하여 잡음 보상을 수행한다. 아울러, 영상 신호의 수직 방향 변화율(x_v)과 수평 방향 변화율(x_h)이 기 설정된 기준값 이상의 값이고, 이 중 수직 방향 변화율이 수평 방향 변화율 이상의 값을 갖는 경우에는 수평 경계로 판단하여 문턱값 행렬 TM_h를 이용하여 잡음 보상을 수행한다.

도 7은 경계 지역이 포함된 영상 신호에 대하여 경계의 방향에 따라 제 2 및 제 3 문턱값을 적용하여 잡음을 제거한 후, 평탄 영역에 대한 잡음을 제거한 후의 영상을 나타나내고, 도 8a 및 8b는 에지의 방향성을 고려한 공간 적응적 문턱값을 이용하여 잡음을 제거하기 전(도 8b) 및 후(도 8a)의 경계 지역에 대한 확대 영상이다.

도 7 및 도 8b에서, 도 8a와 비교할 때 경계 지역이 평탄 영역과 명확하게 구분됨은 물론, 자연스럽게 처리된 것을 알 수 있다.

도 9는 본 발명의 일 실시예에 의한 영상 잡음 제거 방법을 설명하기 위한 흐름도이다.

본 발명의 영상 잡음 제거 방법은 크게 영상 신호를 수신하는 과정(S10), 입력 영상의 경계 지역 포함 여부 및 경계 방향 결정 과정(S20), 잡음 보상 과정(S30) 및 잡음 보상된 영상 신호를 출력하는 과정(S40)으로 구분할 수 있다.

먼저, 지정된 크기로 분할되어 입력되는 영상 신호 각각에 대하여 픽셀 값들의 수직 방향 및 수평 방향 변화율을 판단한다(S201). 이때에는 상기 [수학식 7]을 적용할 수 있다.

변화율을 판단한 후에는 수직 방향 변화율과 수평 방향 변화율 각각의 크기가 모두 작은지의 여부를 확인하여 경계 지역 여부를 판단하고, 수직 및 수평 방향 변화율 중 어느 한 값이 큰 값을 갖는 경우, 변화율의 차이값으로부터 해당 영상 신호에 포함된 경계의 방향을 판단한다(S203). 이때, 수직 및 수평 방향 변화율이 모두 기준값보다 작은 값을 갖는 경우에는 경계 지역이 포함되지 않은 평탄 영역인 것으로 판단한다. 아울러, 수직 및 수평 방향 변화율이 기준값 이상의 값을 갖고, 이 중 수평 방향 변화율이 더 클 경우에는 수직 방향 경계가 포함되어 있는 것으로 판단하며, 수직 방향 변화율이 수평 방향 변화율 이상인 경우에는 수평 방향 경계가 포함되어 있는 것으로 판단한다.

다음, 단계 S203에서 입력 영상이 평탄한지 또는 수직/수평 경계 지역이 포함되어 있는지 판단한 결과에 따라, 문턱값 행렬을 생성한다(S205). 문턱값 행렬은 상술한 도 3a 내지 3c와 같이 생성될 수 있다.

이와 같이 문턱값 행렬이 생성된 후에는 수직 또는 수평 방향 경계 지역이 포함되어 있는 영상의 경우에는 상기 [수학식 10]을 이용하여 경계 지역에서의 잡음을 제거하고, 평탄 영역 영상 신호인 경우에는 상기 [수학식 6]을 이용하여 잡음을 제거한다(S205).

즉, 수직 방향 경계 지역이 포함되어 있는 것으로 판단되는 경우에는 수직 방향의 경계 지역에 제 2 문턱값을 적용하고, 그 외 지역에는 제 3 문턱값(<제 2 문턱값)을 적용한 문턱값 행렬을 이용하여 잡음을 보상한다. 반면, 수평 방향 경계 지역이 포함되어 있는 것으로 판단되는 경우에는 수평 방향의 경계 지역에 제 2 문턱값을 적용하고, 그 외 지역에는 제 3 문턱값(<제 2 문턱값)을 적용한 문턱값 행렬을 이용하여 잡음을 보상한다. 잡음 제거시에는 입력되는 잡음이 포함된 영상 신호에 문턱값 행렬을 이용하여 생성한 시간 공간적 가우시안 가중치 함수를 적용하여 잡음을 효과적으로 제거할 수 있다. 시간 공간적 가우시안 가중치 함수는 지정된 크기로 분할된 영상 신호 중 중앙에 위치한 픽셀에 대하여 높은 가중치를 적용하여 잡음을 보상하는 알고리즘이다.

잡음 제거 알고리즘은 영상 처리 과정 중 컬러 보간 전 또는 후에 수행될 수 있으며, 도 10을 참조하여 설명하면 다음과 같다.

도 10은 베이어 포맷 영상 신호의 잡음 제거 개념을 설명하기 위한 도면이다.

먼저, 컬러 보간 전에 잡음을 제거하는 경우에는 베이어(Bayer) 포맷 상태에서 잡음 제거가 이루어지며, 도 10에 도시한 것과 같이, 신호를 샘플링하여 R, G, B 채널별로 분할하고 각각의 채널에 대하여 잡음을 제거한 후, 이를 다시 원래의 베이어 포맷 상태로 배치하게 된다.

이 경우에는 컬러 보간 전에 잡음이 제거되기 때문에 컬러 얼룩 현상이 발생하지 않고, 처리 시간도 단축되는 이점이 있다. 그러나, 각 컬러 채널들이 두 픽셀 간격으로 샘플링되므로(G 채널의 경우 세로 방향으로는 한 픽셀 간격) 채널 내에서의 데이터 간 상관성이 저하되게 되고, 잡음 제거시 경계 지역에서 부자연스러운 결과를 초래할 수 있다.

먼저 도 11은 베이어 포맷 영상을 컬러 보간한 결과를 나타내며, 잡음을 제 거하지 않은 상태이므로 잡음이 현저히 구분되고, 평탄 영역에서 컬러 얼룩이 발생한 것을 알 수 있다.

도 12는 베이어 포맷 영상에서 컬러 보간을 수행하기 전 잡음을 제거한 경우의 영상으로, 잡음과 컬러 얼룩은 현저히 줄어들었으나 경계 지역에서의 자연스러움이 저하된 것을 확인할 수 있다.

한편, 컬러 보간 후에 잡음을 제거하는 경우를 설명하면 다음과 같다. 이 경우에는 모든 픽셀에 R, G, B값이 모두 포함되어 있으므로 YUV(휘도 신호Y, 휘도 신호와 적색 신호 성분의 차 U, 휘도 신호와 청색 신호 성분의 차 V) 시스템으로 변환한 후, Y성분에 대하여 본 발명의 잡음 제거 장치를 적용하고, U 및 V 성분은 저주파 필터링을 수행한다. 다음에 RGB 컬러 시스템으로 역변환하면 잡음 제거된 결과를 얻게 되며, 도 13은 이를 통해 획득한 영상을 나타낸다.

도 12와 도 13을 비교하면, 도 13의 경우 경계 지역에서의 처리가 자연스러우나 평탄 영역에서 약한 컬러 얼룩이 남아 있는 것을 확인할 수 있다.

이와 같이, 잡음 제거 과정은 컬러 보간 전 또는 후에 수행할 수 있으며, 수행 시점에 따라 각기 장단점이 있으므로 제품 구현 단계에서 적용 분야에 따라 결정되어야 한다. 영상 처리 시간에 큰 구애를 받지 않고 화질을 중요시 여기는 시스템의 경우 컬러 보간 후에 잡음을 제거하는 것이 바람직하고, 상대적으로 높은 처리 속도를 추구하는 시스템이라면 컬러 보간 전에 잡음을 제거하도록 설계할 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사 상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명에 의하면 에지의 방향성을 고려한 공간 적응적 문턱값을 적용하여 영상 신호로부터 잡음을 제거할 수 있어 영상 신호의 품질을 향상시킬 수 있다.

또한, 에지 부분의 문턱값 행렬 생성 모듈과 평탄 영역의 문턱값 행렬 생성 모듈을 독립적으로 구성하는 경우 제품의 특성에 따라 확장 및 제거가 용이하고, 영상 처리 시스템의 구조를 간단히 하고 처리 속도를 보장하면서도 우수한 품질의 영상을 획득할 수 있다.

Claims

영상 잡음 처리 장치로서,

지정된 크기의 마스크로 분할되어 순차적으로 입력되는 영상 신호 각각에 대하여 경계 지역이 포함되어 있는지 확인하고, 경계 지역 포함 여부 및 경계 지역의 방향에 따라 각기 다른 문턱값 행렬을 생성하여 순차적으로 출력하는 문턱값 행렬 결정부; 및

상기 순차적으로 입력되는 영상 신호에 대하여, 상기 문턱값 행렬 결정부로부터 순차적으로 수신한 문턱값 행렬을 적용하여 잡음을 보상한 후 출력하는 잡음 보상부;

를 포함하는 것을 영상 잡음 처리 장치.
제 1 항에 있어서,

상기 문턱값 행렬 결정부는, 상기 지정된 크기의 마스크로 분할되어 입력되는 영상 신호 각각에 대하여, 현재 처리하는 픽셀을 중심으로 상기 마스크 내에 있는 픽셀 값들의 수직 방향 변화율 및 수평 방향 변화율을 각각 산출하는 변화율 판단 모듈;

상기 변화율 판단 모듈에서 산출한 변화율에 따라, 해당 분할 영상에 경계 지역이 포함되어 있는지, 경계 지역이 포함되어 있는 경우 수평 경계 지역인지 또는 수직 경계 지역인지 판단하는 에지 방향 결정 모듈;

상기 에지 방향 결정 모듈에서 결정한 경계의 방향에 따라, 경계 지역이 포함되어 있지 않은 영상 신호에서 현재 처리하는 픽셀과 유사한 픽셀을 판단하기 위한 제 1 문턱값을 산출하고, 경계 지역이 포함되어 있는 영상 신호에서 경계 지역에 위치한 픽셀과 상기 현재 처리하는 픽셀이 유사한지를 판단하기 위한 제 2 문턱값 및, 경계 지역이 포함되어 있는 영상 신호에서 경계 지역에 위치하지 않는 픽셀과 상기 현재 처리하는 픽셀이 유사한지를 판단하기 위한 제 3 문턱값을 산출하는 문턱값 산출 모듈; 및

상기 제 1 문턱값 내지 제 3 문턱값을 이용하여 상기 순차적으로 입력되는 영상 신호의 잡음 보상에 적용하기 위한 문턱값 행렬을 도출하는 문턱값 산출 모듈;

을 포함하는 영상 잡음 제거 장치.
제 2 항에 있어서,

상기 에지 방향 결정 모듈은, 상기 수직 방향 변화율과 수평 방향 변화율이 모두 기 설정된 기준값보다 작은 값일 경우 상기 영상 신호에 경계 지역이 포함되어 있지 않은 것으로 판단하는 것을 특징으로 하는 영상 잡음 제거 장치.
제 2 항에 있어서,

상기 에지 방향 결정 모듈은, 상기 수직 방향 변화율과 수평 방향 변화율이 상기 기준값 이상의 값이고, 상기 수직 방향 변화율이 상기 수평 방향 변화율 이상의 값일 경우에는 상기 영상 신호에 수평 방향 경계 지역이 포함되어 있는 것으로 판단하며,

상기 수직 방향 변화율과 수평 방향 변화율이 상기 기준값 이상의 값이고, 상기 수평 방향 변화율이 상기 수직 방향 변화율보다 클 경우에는 상기 영상 신호에 수직 방향 경계 지역이 포함되어 있는 것으로 판단하는 것을 특징으로 하는 영상 잡음 제거 장치.
제 2 항에 있어서,

상기 제 2 문턱값(T₂)은 수직 방향 변화율(x_v), 수평 방향 변화율(x_h) 및 기 설정된 조건에 따라 산출된 제 1 문턱값(T1)에 따라
에 의해 산출되는 것을 특징으로 하는 영상 잡음 제거 장치.
제 2 항에 있어서,

상기 제 3 문턱값은 제 2 문턱값보다 작은 값이며, 수직 방향 변화율(x_v), 수평 방향 변화율(x_h) 및 기 설정된 제 1 문턱값(T1)에 따라
에 의해 산출되는 것을 특징으로 하는 영상 잡음 제거 장치.
제 2 항, 제 5 항 및 제 6 항 중 어느 하나의 항에 있어서,

상기 제 2 문턱값 및 제 3 문턱값을 이용하여 도출되는 문턱값 행렬은, 행렬 의 수직 또는 수평 방향의 각 중앙 파라미터가 제 2 제 문턱값이고, 그 외의 파라미터가 제 3 문턱값을 갖는 것을 특징으로 하는 영상 잡음 제거 장치.
2 항, 제 5 항 및 제 6 항 중 어느 하나의 항에 있어서,

상기 문턱값 행렬은, 상기 영상 신호에 수평 방향 경계 지역이 포함된 경우 상기 수평 방향의 각 중앙 파라미터가 제 2 문턱값인 것을 특징으로 하는 영상 잡음 제거 장치.
2 항, 제 5 항 및 제 6 항 중 어느 하나의 항에 있어서,

상기 문턱값 행렬은, 상기 영상 신호에 수직 방향 경계 지역이 포함된 경우 상기 수직 방향의 각 중앙 파라미터가 제 2 문턱값인 것을 특징으로 하는 영상 잡음 제거 장치.
제 1 항에 있어서,

상기 잡음 보상부는, 지정된 크기로 분할되어 입력되는 영상 신호에 대하여, 상기 문턱값 행렬 결정부로부터 수신한 문턱값 행렬을 적용하여, 상기 입력되는 영상 신호에 시간 공간적 가우시안 가중치 함수를 적용하여 잡음을 보상하는 것을 특징으로 하는 영상 잡음 제거 장치.
영상 잡음 제거 방법으로서,

지정된 크기로 분할된 각각의 영상 신호를 순차적으로 수신하는 제 1 과정;

상기 각각의 영상 신호에 경계 지역이 포함되어 있는지 판단하고, 경계 지역 포함 여부 및 경계 지역의 방향에 따라 문턱값 행렬을 순차적으로 생성하는 제 2 과정; 및

상기 각각의 영상 신호를 순차적으로 수신하여, 상기 제 2 과정의 수행 결과로 출력되는 문턱값 행렬을 상기 각각의 영상 신호에 적용하여 잡음을 제거하여 출력하는 제 3 과정;

을 포함하는 영상 잡음 제거 방법.
제 11 항에 있어서,

상기 제 2 과정은, 상기 지정된 크기로 분할되어 입력되는 각각의 영상 신호에 대하여 수직 방향 및 수평 방향 변화율을 판단하는 제 1 단계;

상기 수직 방향 변화율과 수평 방향 변화율의 크기 및 차이값을 참조하여, 해당 영상 신호의 경계 지역 포함 여부 및 경계 지역의 방향을 판단하는 제 2 단계; 및

상기 제 2 단계의 판단 결과, 상기 영상 신호가 평탄 영역으로 이루어진 경우 제 1 문턱값을 적용하여 문턱값 행렬을 생성하고, 상기 영상 신호에 경계 지역이 포함되어 있는 경우 경계의 방향과 일치하도록 제 2 문턱값을 적용하고, 그 외 지역에 제 2 문턱값보다 작은 값을 갖는 제 3 문턱값을 적용한 문턱값 행렬을 생성하는 제 3 단계;

를 포함하는 영상 잡음 제거 방법.
제 11 항에 있어서,

상기 제 3 과정은, 상기 각 입력 영상 각각에 대하여 픽셀 간 빛의 밝기의 유사성을 판단하는 제 1 단계; 및

상기 픽셀 간 빛의 밝기가 유사한 경우 입력 영상 신호에 시간 공간적 가우시안 가중치 함수를 적용하여 잡음을 제거하는 제 2 단계;

를 포함하는 것을 특징으로 하는 영상 잡음 제거 방법.