KR101216730B1 - 내용-적응형 필터 기술 - Google Patents

Abstract

화상 디테일과 에지 샤프니스를 유지하면서 고속의 노이즈 감소를 달성하기 위해 이미지를 필터링하는 필터를 선택하는 것이 이미지 전체에서 디테일을 우선적으로 결정함으로써 시작된다. 그 다음 이미지 에지의 검출이 발생한다. 이미지 디테일과 에지 정보를 이용하여, 필터 탭의 개수와 필터 세기를 포함하는 필터 특성이 선택된다.

Description

내용-적응형 필터 기술{CONTENT-ADAPTIVE FILTER TECHNIQUE}

본 발명은 화상 디테일(picture detail) 및 샤프니스(sharpness)를 유지하면서 비교적 빠른 동작을 제공하는 이미지 파일을 필터링하는 필터를 선택하기 위한 기술에 관한 것이다.

이미지 파일 가령, 비디오 또는 필름 이미지를 포함하는 것은 전형적으로 일정한 양의 노이즈를 포함한다. 필름에서 파생되는 이미지와 연관시켜 볼 때, 그레인의 밀도에 대한 랜덤 변형에 의해 야기된 필름의 그레인(grain)은 그 자신이 노이즈가 된다. 비디오 및/또는 필름을 포함하는 이미지의 저장은 커다란 공간을 필요로 하지만, 적당한 양의 시간 내에서의 이러한 파일 전송은 아주 큰 대역폭을 요구한다. 그러한 이유로, 비디오 및/또는 필름을 포함하는 이미지 파일은 일반적으로, 저장 및/또는 전송 이전에 압축이 된다. (필름 그레인을 포함하는) 노이즈 압축은 이미지가 비디오이든지 필름이든지 간에, 이 이미지가 갖는 상관관계의 부족으로 인해 아주 어려운 것으로 증명되었다. 이러한 이유로, 노이즈를 제거하기 위해 압축 이전에 이미지 파일을 필터링하는 것은 더 높은 압축 비를 달성하는데 유 익하게 된다.

노이즈 필터링을 위한 다양한 기술이 현재 존재한다. 그러나 이러한 현재의 기술은 이미지 디테일을 보존하면서 고속의 성능을 제공할 수 없는 단점을 종종 갖게 된다. 고속을 제공하는 필터링 기술은 보통 충분한 이미지 디테일을 보존하지 못하는 반면, 이미지 디테일을 보존하는 필터 기술은 아주 느리게 동작하는 경향이 있다.

그런 까닭에, 이미지 디테일을 보존하면서 양호한 속도 둘 다를 달성하는 이미지로부터의 노이즈를 필터링하는 기술에 대한 필요가 존재한다.

요약하자면, 본 발명의 원리에 따라, 화상 디테일과 에지 샤프니스를 유지하면서 고속의 노이즈 감소를 달성하기 위해 이미지를 필터링하는 필터를 선택하기 위한 기술이 제공된다. 이 기술은 상기 이미지 전체에 걸쳐 디테일을 결정함으로써 시작된다. 그 다음 이 이미지 에지의 검출이 일어난다. 상기 이미지 디테일 및 에지 정보를 이용한다면, 이미지를 필터링하는 필터의 특성이 선택된다. 예로서, 탭의 개수와 이들의 정수 값은 상기 이미지 디테일과 에지 정보를 이용해서 선택될 수 있다. 본 발명의 원리의 기술은 내용-종속 공간 필터링(content dependent spatial filtering)을 이용해서 속도와 이미지 디테일 간의 양호한 균형(tradeoff)을 제공하는 필터를 선택하도록 한다.

도 1은 화상 디테일 및 이미지 에지 샤프니스를 유지하면서 노이즈를 줄이기 위해 이미지를 필터링하기 위한 필터를 선택하기 위한 본 발명의 원리에 따른 방법의 개별적인 단계를 흐름도의 형태로 도시한 도면.

도 2a 및 2b는 이미지 내의 에지가 검출이 되는 방식을 예시적으로 나타내기 위해 이미지의 세로 및 가로 커넬(kernels)을 도시하는 도면.

도 3a 및 3b는 필터링이 일어나는 방법을 예시하기 위해 각각의 7x7 픽셀 이미지 윈도를 도시한 도면.

도 4a는 가능한 필터 방향과 필터 길이를 예시하기 위해 이미지 윈도를 도시한 도면.

도 4b는 이미지 에지 근처에서 선택된 필터를 보여주는 도 3a의 이미지 윈도를 도시한 도면.

도 5, 6 및 7은 본 발명의 기술에 따라 선택된 7탭, 5탭 및 3탭 필터 각각의 주파수 응답을 각각 도시한 도면.

도 1은 노이즈를 줄이기 위해 이미지를 필터링하기 위한 본 발명 원리에 따른 필터를 선택하는 프로세스를 흐름도로 도시한다. 본 발명 원리의 필터 선택 프로세스는 필터 특징을 선택하기 위해 이미지 내용을 이용함으로서 이 필터는 이미지 디테일 및 에지 샤프니스를 유지할 것이다. 상기 필터 선택 프로세스는 필터링 을 겪도록 예정된 이미지 내에 디테일을 먼저 결정함으로써 개시된다. 예시적인 실시예에서, 이미지에서의 디테일 검출은 위치(x)에서의 픽셀과 위치(x-1)에서의 픽셀 간의 이미지 농도에 대한 그레디언트(gradient)를 만듦으로써 도 1의 단계 10 동안에 각각의 픽셀에 기초하여 발생한다. 수리적으로, 상기 픽셀 그레디언트는 다음과 같이 표현될 수 있다:

여기서 Grad(x)는 위치 x에서의 그레디언트이고, f(k)는 위치 k에서의 픽셀 값이다.

로컬 그레디언트는 상기 픽셀에서 선택된 필터의 특징을 결정한다. 불연속 임계값 세트 각각에 비교되는 그레디언트의 크기는 필터 파라미터 특히, 필터 탭의 개수를 결정한다. 예를 들면, 각 조건에 따라 선택되는 필터 탭의 개수는 다음과 같다:

그레디언트와 이와 관련된 임계값 사이의 차이는 필터 강도를 결정한다.

상기 설명된 그레디언트-적응 접근법을 사용하면 지터(jitter) 및 다른 아티팩트를 필터링 이후의 결과 이미지에 삽입할 수 있다. 특히, 필터 특징이 이러한 에지를 필터링하는 동안에 변하는 경우에, 지터는 이미지의 필터링된 에지의 외관 이 될 수 있다. 본 발명 원리의 양상에 따르면, 감소된 지터는 도 1의 단계 12 동안에 계산된 가장 큰 근접 그레디언트를 이용하여 검출되는 바와 같이, 가장 큰 근접 에지에 의해 결정된 안정적인 필터로 (일반적으로 가장 약한 세기로) 에지를 필터링함으로써 생길 것이다.

가장 큰 근접 에지를 발견하기 위해 가장 큰 근접 그레디언트를 결정하기 위한 계산을 실행함으로서 중앙 처리 장치(미도시)의 많은 사이클을 소모할 수 있다. 다음의 최적화 계획은 이러한 사이클의 수를 줄일 수 있다. N x M 크기를 갖는 주어진 이미지 어레이 내에서(여기서 N 및 M은 각각 정수), 각각의 열 내에 있는 가장 큰 근접 그레디언트를 계산하고, 그 다음 이 열로부터의 중간 결과값을 이용함으로서 픽셀 마다 동작 횟수를 줄일 것이다. 이러한 접근이 어떤 방법으로 계산의 횟수를 줄이는지 이해하기 위해, 크기 7 x 7의 픽셀 윈도를 참조한다. 상기 크기의 윈도 내에 있는 가장 큰 그레디언트 G(x,y)를 계산한다면 각 픽셀 마다 49번의 동작을 요구할 것이다. 그러나 각각의 열 내에 있는 가장 큰 그레디언트를 계산하고 윈도에 대한 가장 큰 그레디언트를 후속으로 결정하기 위해 상기 결과값을 저장한다면 각 픽셀마다 오로지 14번의 동작이 요구된다. 각 열마다 7 x 7 어레이에 대해 그레디언트를 계산하는 접근법은 3.5(49/14=3.5)의 속도 이점을 제공한다. 이러한 동일한 기술은 예컨대, 평균 픽셀 농도와 같은 다른 파라미터를 계산하는데 적용될 수 있다. 각 픽셀마다 가장 큰 근접 그레디언트를 계산하는데 전통적인 접근법을 사용하는 경우, 도 3a와 3b는 예시적인 픽셀(x,y)과 다음 픽셀(x+1,y)을 각각 보이는 이미지 블록을 예시한다. 각 열마다 가장 큰 근접 그레디언트를 계산하기 위해 본 발명 원리의 기술을 이용하는 경우에, 도 4a 및 4b와 도 3a 및 3b는 예시적인 픽셀(x,y)과 다음의 픽셀(x+1,y)을 각각 보여주는 이미지 블록을 예시한다.

이미지의 에지를 검출하는데 있어서 다양한 기술이 존재한다. 예컨대, 도 2a 및 2b에서 각각 도시된 세로 및 가로 커넬(Vertical and Horizontal Kernels)에 의해 설명된 필터 특징을 갖는 소벨(Sobel) 필터 쌍은 이미지의 에지를 추정하는 것을 제공할 있다.

도 1을 참고하면, 다음 단계 12 즉, 가장 큰 근접 그레디언트의 계산이 바람직한 필터 파라미터를 생성하기 위해 일어나고, 그 다음 단계 14 동안에 필터 선택이 일어난다. 예시적인 실시예에서, 3개의 필터 세트 즉, 3-탭, 5-탭 및 7-탭이 사용된다.

상기 7-탭 필터는 가장 높은 세기에서 가장 약한 세기까지 11개의 정수를 갖고, 전형적으로 256 만큼의 스케일링을 요구한다. 표 Ⅰ는 예시적인 7개의 탭 필터를 나열한다.

상기 5-탭 필터는 10개의 정수를 갖고, 또한 전형적으로 256 만큼의 스케일링을 요구한다. 표 Ⅱ는 예시적인 7-탭 필터를 나열한다.

상기 3-탭 필터는 7개의 정수를 갖고, 전형적으로 256 만큼의 스케일링을 요 구한다. 표 Ⅲ은 예시적인 3-탭 필터를 나열한다.

위에서 설명된 바와 같이, 본 발명의 원리의 필터 선택 기술은 동일한 필터링 레벨을 유지하면서 이미지 에지를 보존하려는 필터를 만든다. 선택 단계 18은 에지에 걸쳐 필터링하는 것을 막는 특정한 필터 길이를 선택한 이후에 실행될 수 있다. 필터링된 방향으로 이미지 에지를 검출할 때, 상기 필터 세기는 탭의 개수를 줄이거나 특정 방향으로 필터링을 전혀 행하지 않음으로써 감소할 것이다. 다음 단계 18 즉, 이미지의 필터링이 단계 20 동안에 선택된 필터에 따라서 일어난다.

에지의 근처에 필터를 선택하는 프로세스를 더 잘 이해하기 위해, 3-탭, 5-탭 및 7-탭 필터 중 하나를 각각 이용해서 중앙 픽셀 P(x,y)와 다른 방향으로 필터링하려는 가능성을 상이한 명암법을 이용하여 나타내는 도 5a를 참고한다. 도 5b를 참고하면, 상기 도면의 상단에 예시적으로 보이는 이미지 내에서의 에지를 검출할 때, 필터 세기는 감소한다.

앞서 설명한 것은 양호한 성능을 제공하면서 이미지 디테일을 보존하는 이미 지 필터링을 위한 필터를 선택하는 기술이다.

상술한 바와 같이, 본 발명은 화상 디테일(picture detail) 및 샤프니스(sharpness)를 유지하면서 비교적 빠른 동작을 제공하는 이미지 파일을 필터링하는 필터를 선택하기 위한 기술에 이용가능 하다.

Claims (12)

1. 이미지를 필터링하기 위한 필터 선택 방법에 있어서,

   - 상기 이미지 내에서의 각각의 픽셀에 대한 그레디언트를 계산함으로써 이미지 전체에 걸쳐 디테일(detail)을 결정하는 단계와,

   - 상기 이미지 에지(edge)를 검출하는 단계와,

   - 픽셀 그레디언트가 불연속 임계값 세트를 초과하는지에 대한 여부에 따라 필터 탭의 수량을 결정함으로써 그리고 상기 그레디언트와 관련된 임계값 간의 간격에 대한 필터 세기를 결정함으로써 상기 이미지 디테일 및 에지에 따라 이미지를 필터링하기 위한 필터의 특성을 선택하는 단계를

   포함하는, 이미지를 필터링하기 위한 필터 선택 방법.
2. 제 1항에 있어서,

   상기 그레디언트의 계산은 각 픽셀에 대한 가장 큰 접근 그레디언트(largest nearby gradient)를 계산하는 단계를 더 포함하는, 이미지를 필터링하기 위한 필터 선택 방법.
3. 제 1항에 있어서,

   상기 이미지 에지를 검출하는 단계는 소벨(Sobel) 필터로 이미지를 필터링하는 단계를 더 포함하는, 이미지를 필터링하기 위한 필터 선택 방법.
4. 제 1항에 있어서,

   선택된 특성을 갖는 필터를 이용해서 이미지를 필터링하는 단계를 더 포함하는, 이미지를 필터링하기 위한 필터 선택 방법.
5. 이미지를 필터링하는 방법에 있어서,

   - 상기 이미지 내에서의 각각의 픽셀에 대한 그레디언트를 계산함으로써 이미지 전체에 걸쳐 디테일(detail)을 결정하는 단계와,

   - 상기 이미지의 에지(edge)를 검출하는 단계와,

   - 픽셀 그레디언트가 불연속 임계값 세트를 초과하는지에 대한 여부에 따라 필터 탭의 수량을 결정함으로써 그리고, 상기 그레디언트와 관련된 임계값 간의 간격에 대한 필터 세기를 결정함으로써 상기 이미지의 디테일 및 에지에 따라 이미지를 필터링하기 위한 필터의 특성을 선택하는 단계와,

   상기 선택된 특성을 갖는 필터를 이용해 상기 이미지를 필터링하는 단계를

   포함하는, 이미지를 필터링하는 방법.
6. 삭제
7. 제 5항에 있어서,

   상기 그레디언트의 계산은 각각의 픽셀에 대한 가장 큰 근접 그레디언트를 계산하는 단계를 더 포함하는, 이미지를 필터링하는 방법.
8. 제 5항에 있어서,

   이미지 에지를 검출하는 단계는 소벨(Sobel) 필터로 이미지를 필터링하는 단계를 더 포함하는, 이미지를 필터링하는 방법.
9. 삭제
10. 삭제
11. 삭제
12. 삭제

Images