KR20020057526A - 영상 보간 방법 및 장치 - Google Patents

Abstract

에지 방향 탐색에 의해 영상을 보간하는 방법 및 장치에 관한 것으로서, 특히 수직 방향 보간인 경우, 보간할 화소의 위/아래 라인에 위치한 화소들을 정합하여 최소 오차를 갖는 에지 방향을 탐색하고, 수평 방향 보간인 경우, 보간할 화소의 좌/우에 위치한 화소들을 정합하여 최소 오차를 갖는 에지 방향을 탐색한 후 상기 탐색된 에지 방향으로 수직, 수평 방향 보간 필터링을 수행함으로써, 에지의 블러링을 최소화할 수 있고 또한, 메모리 및 하드웨어를 효율적으로 사용할 수 있다.

Description

영상 보간 방법 및 장치{Method for interpolating image}

본 발명은 디지털 영상의 보간에 관한 것으로서, 특히 에지 방향 탐색에 의해 영상을 보간함으로써, 선명한 보간 영상을 얻는 영상 보간 방법 및 장치에 관한 것이다.

일반적으로, 영상 신호의 보간은 작은 크기의 영상 데이터로부터 보다 큰 크기의 영상 데이터를 만들어 내는 과정이며, 디지털 TV, 캠코더등의 가전 기기뿐 아니라 PC 어플리케이션 소프트웨어, 영상 분석 시스템 등 다양한 응용 분야를 갖는 기법이다. 간단한 보간 방법으로는 선형 필터링을 통한 보간 방법을 비롯한 이진 선형(bi-linear) 보간, 이진큐빅(bicubic) 보간 방법들이 있다. 그러나 이런 방법들은 영상 보간에 있어서 근본적인 문제인 에지(edge)의 블러링(blurring) 문제를 해결하지 못하고 있다.

이러한 문제를 해결하기 위한 방법으로 영상의 에지를 찾아서 에지 방향으로 보간하는 방법들이 다음과 같이 제안되고 있다.

[1] J. Allebach and P. W. Wong, "Edge-directed interpolation,"international conference on image Processing'96, vol.3, pp. 707-710, 1996.

[2] X. Li and M. T. Orchard, "New edge-directed interpolation,"international conference on image Processing'2000, vol.2, pp. 311-314, 2000.

그러나, 상기 [1]과 같은 보간 방법은 낮은 해상도의 영상에서 에지 맵(edge map)을 만들고, 상기 만들어진 에지 맵을 고 해상도의 맵으로 변환하는 과정과 이렇게 구해진 에지 맵을 이용하여 반복적으로 랜더링(rendering)과 정정(correction)을 하는 과정으로 구성된다. 한편, 상기 [2]와 같은 보간 방법은상기 방법 [1]의 많은 계산량을 줄이기 위한 방법으로 영상의 국부적(local) 통계 특성을 구하고 이를 이용하여 보간 필터 계수를 구하는 방법이다. 그러나 이 보간 방법 역시 통계적 특성 및 필터 계수를 구하는 과정에서 많은 계산량을 필요로 하는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 영상의 에지 방향을 추정하고, 추정된 에지 방향의 정보를 이용하여 영상을 보간함으로써, 블러링을 최소화하는 영상 보간 방법 및 장치를 제공함에 있다.

도 1a는 본 발명에 따른 수직 방향 영상 보간 장치의 구성 블록도

도 1b는 본 발명에 따른 수평 방향 영상 보간 장치의 구성 블록도

도 2a는 도 1a의 수직 방향 화소 정합의 예를 보인 도면

도 2b는 도 1b의 수평 방향 화소 정합의 예를 보인 도면

도 3은 도 1a에서 수직 방향으로 2배 보간하는 경우의 n과 n'의 관계를 보인 도면

도 4는 본 발명에 따른 임의 위치의 수직 방향 화소 정합 및 보간 예를 보인 도면

도면의 주요부분에 대한 부호의 설명

101 : 수직 보간 필터부102, 202∼205 : 라인 메모리

103 : 수직 화소 정합부201 : 수평 보간 필터부

206 : 수평 화소 정합부

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상 보간 방법은, 입력되는 화소들을 이용한 화소 정합에 의해 에지 방향을 탐색하는 단계와, 상기 탐색된 에지 방향으로 보간 필터링을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

상기 에지 방향 탐색 단계는 수직 방향 보간인 경우, 보간할 화소의 위/아래 라인에 위치한 화소들을 정합하여 최소 오차를 갖는 에지 방향을 탐색하는 것을 특징으로 한다.

상기 에지 방향 탐색 단계는 수평 방향 보간인 경우, 보간할 화소의 좌/우에 위치한 화소들을 정합하여 최소 오차를 갖는 에지 방향을 탐색하는 것을 특징으로 한다.

상기 에지 방향 탐색 단계는 평균 절대 오차함수(MAE)를 측정 함수로 사용하여 각 방향의 오차를 측정하고, 이 중 최소 오차 값을 갖는 방향을 에지 방향으로결정하는 것을 특징으로 한다.

상기 에지 방향 탐색 단계는 신호의 변화량이 적은 평탄 영역과 신호의 변화가 극심한 텍스쳐 부분에서는 에지 방향을방향으로 결정하는 것을 특징으로 한다.

상기 에지 방향 탐색 단계는 상기 탐색된 에지 방향에 따른 상대적 수평 좌표를 수직 화소 정합의 결과로 출력하고, 상대적 수직 좌표를 수평 화소 정합의 결과로 출력하는 것을 특징으로 한다.

상기 에지 방향 탐색 및 보간은 수직 방향과 수평 방향에 대해 독립적으로 수행하는 것을 특징으로 한다.

본 발명에 따른 영상 보간 장치는, 입력되는 화소들을 이용한 화소 정합에 의해 수직 방향에 대한 에지 방향을 탐색하고, 상기 탐색된 에지 방향으로 수직 보간 필터링을 수행하는 수직 방향 보간부와, 입력되는 화소들을 이용한 화소 정합에 의해 수평 방향에 대한 에지 방향을 탐색하고, 상기 탐색된 에지 방향으로 수평 보간 필터링을 수행하는 수평 방향 보간부를 포함하여 구성되며, 상기 수직 방향 보간부와 수평 보간 필터부가 서로 독립적인 구조를 갖는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 따른 영상 보간 장치의 구성 블록도로서, 도 1a, 도 1b와 같이 수직 및 수평 방향의 보간을 독립적으로 수행한다. 이때, 각 방향으로의 보간과정은 화소 정합에 의한 에지 방향 탐색 과정과 탐색된 방향으로의 보간 필터링을 수행하는 과정으로 구성된다.

즉, 도 1a는 본 발명에 따른 수직 방향 보간 장치의 구성 블록도로서, 입력 신호를 1 라인 지연시키는 라인 메모리(102), 상기 입력 신호와 라인 메모리(102)에서 1 라인 지연된 신호들을 정합하여 최소 오차를 갖는 에지 방향을 찾는 수직 화소 정합부(103), 및 상기 수직 화소 정합부(103)에서 검출된 최소 오차를 갖는 에지 방향으로 상기 입력 신호를 보간하는 수직 보간 필터부(101)로 구성된다.

상기 도 1b는 본 발명에 따른 수평 방향 보간 장치의 구성 블록도로서, 다수개의 지연기가 순차적으로 연결되어 입력 신호를 라인 단위로 지연시키는 제 1 내지 제 4 라인 메모리(202∼205), 상기 입력 신호와 상기 제 1 내지 제 4 라인 메모리(202∼205)에서 각각 출력되는 신호들을 정합하여 최소 오차를 갖는 에지 방향을 검출하는 수평 화소 정합부(206), 및 상기 수평 화소 정합부(206)에서 검출된 최소 오차를 갖는 에지 방향으로 상기 입력 신호를 수평 보간하는 수평 보간 필터부(201)로 구성된다.

이와 같이 구성된 본 발명은 먼저, 수직 방향 보간에 대해 설명한다.

즉, 낮은 해상도의 입력 신호를 f(m,n)이라고 할 때, 상기 입력 신호 f(m,n)은 도 1a의 라인 메모리(102)에서 1 라인 지연된 후 수직 화소 정합부(103)로 출력된다.

상기 수직 화소 정합부(103)는 보간할 화소의 위/아래 라인(n-1,n)에 위치한 화소들을 정합하여 최소 오차를 갖는 에지 방향을 찾는다. 즉, 상기 입력 신호f(m,n)와 1 라인 지연된 신호(m,n-1)를 입력받아 최소 오차를 갖는 에지 방향을 검출한다.

일 예로, 도 2a와 같이, 위, 아래 각각 6개의 화소들을 이용할 경우, 3개의 에지 방향(수직 축을 중심으로 -45°,0°,45°)을 탐색할 수 있다.

이때, 탐색의 측정 함수로는 평균 절대 오차 함수(mean absolute error ; MAE)나, 평균 제곱 오차 함수(mean square error ; MSE), 또는 cross correlation 함수등을 사용할 수 있다.

일 예로, 상기 평균 절대 오차 함수(MAE)를 탐색의 측정 함수로 사용할 경우에는 다음의 수학식 1과 같이 각 에지 방향의 오차를 측정할 수 있다.

여기서, 최소 오차 값을 갖는 방향을 에지 방향으로 결정할 수 있는데, 다음 두 가지 사항을 고려해야 한다.

첫째, 신호의 변화량이 작은 평탄 영역(flat region)에서는 가능한방향으로 결정하는 것이 바람직하다. 그 이유는 평탄 영역에서 찾아진 방향은 주로 잡음에 의한 것이고, 평탄 영역에서는 선형 보간(방향으로 보간함)을 해도 블러링이 발생하지 않기 때문이다.

둘째, 신호의 변화량이 극심한 텍스쳐(texture) 부분에서는 aperture 문제로 인하여 에지 방향 추정이 잘못될 가능성이 많으므로 이때에도방향으로 결정하는 것이 바람직하다. 이 두가지 사항을 고려하면, 다음의 수학식 2와 같이 에지 방향을 결정할 수 있다.

여기서,는 0보다 크고 1보다 작은 값으로서 0.8 정도가 적당하다. 이 값을오차 함수에 곱하는 이유는 가능한방향으로 에지 방향이 결정되도록 하기 위한 것이다. 평탄 영역에서는 3개의 오차 값이 거의 비슷한 크기를 갖기 때문에값에 의하여 대개로 결정된다. 또한, 텍스쳐 영역이거나 수평측 방향의 에지가 존재하는 경우는 최소 오차 값이 비교적 클 것이라는 것을 쉽게 예측할 수 있다. 이 경우에도 역시 추정된 에지 방향이 믿을만한 결과가 아니기 때문에방향으로 에지 방향을 결정한다.

즉, 상기된 조건들을 모두 고려하면 다음의 수학식 3과 같이 에지 방향을 결정할 수 있다.

여기서,이고, T는 문턱치(threshold)를 나타내는 값으로 도 2a에 구현한 예와 같이 3개의 화소를 정합하는 경우에는 180 정도가 적당하다.

그리고, 상기 수직 화소 정합부(103)의 최종 출력은 에지 방향에 따른 상대적 수평 좌표로서, 다음의 수학식 4와 같이 출력된다.

이 결과를 이용하여 수직 방향으로 2배 늘리는 경우 수직 보간 필터(101)는 입력 신호 f(m,n)와 라인 메모리(102)의 출력 신호 f(m,n-1), 그리고 수직 화소 정합 결과에 따라 다음의 수학식 5와 같은 연산을 수행하여 수직 방향 보간 필터링을 수행한다.

도 3에 상기 수학식 5의 n과의 관계를 도시하였다. 즉, n은 원래 화소들의 위치를 나타내는 인덱스이고, n'은 수직 방향으로 보간된 화소들의 위치를 나타내는 인덱스이다.

한편, 수평 방향의 보간도 수직 방향의 보간과 동일한 방법으로 수행된다.

즉, 수직 방향으로 보간된 신호는 제 1 내지 제 4 라인 메모리(202∼205)를 통해 라인 단위로 순차 지연된 후 각각 수평 화소 정합부(206)로 출력된다. 상기 수평 화소 정합부(206)는 상기 수직 방향으로 보간된 신호와 상기 제 1 내지 제 4 라인 메모리(202∼205)를 통해 각각 출력되는 신호들을 입력받아 수평 화소 정합을 수행한다. 일 예로, 상기 수평 화소 정합부(206)는 도 2b와 같은 화소들을 이용해서 수평 화소 정합을 수행하여 수평 보간 필터(201)로 출력한다. 상기 수평 보간 필터(201)는 상기 수평 화소 정합 결과와 제 2 라인 메모리(203)의 출력에 따라 다음의 수학식 6과 같이 수평 방향 보간 필터링을 수행한다.

이 과정을 반복적으로 수행하면 2ⁱ(i = 1,2,...)배의 보간된 영상을 얻을 수 있다.

그러나, 일반적인 응용 분야에서는 2의 파워의 배수가 아닌 다양한 배수의 보간을 필요로 한다. 이 경우 보간할 화소 위치가 원래 샘플 위치의 정 중앙에 위치하지 않는다. 도 4는 에지 방향이이고, 보간될 화소의 수직 위치가 두 라인의 중간에 위치하지 않는 경우의 예를 보여준다. 이 경우에 보간될 화소를 지나면서의 기울기를 갖는 직선은 화소 P와 Q를 지난다. 따라서, 상기 수학식 5에 화소 P와 Q을 대입하여 보간을 수행할 수 있다.

그러나, 상기 두 화소는 원래 샘플의 위치가 아니므로 다음의 수학식 7, 8과 같은 수평 보간이 필요하다.

상기된 수학식 7, 수학식 8에서 δ는 윗 라인부터 보간할 위치까지의 수직 거리이고, Δ는 보간전 수직 방향의 두 라인 사이의 거리이다.

그리고, 상기된 수학식 7, 수학식 8을 이용하여 P,Q 픽셀이 보간되면 상기 P,Q 픽셀을 이용하여 수직 방향 보간 필터링을 수행한다.

즉, 실제 보간할 화소가 있는 위치에서 검출된 에지 방향으로 연장선을 그었을 때 교차되는 라인의 위치가 원래의 샘플 위치와 일치하지 않기 때문에 상기 교차점 주위 2개의 픽셀을 이용하여 새롭게 수평 방향으로 보간 픽셀을 만든 후 상기보간 픽셀을 이용하여 원하는 화소를 만든다. 일 예로, 수직 방향으로 보간하는 경우 상기 수학식 7은 수직 보간에 이용되는 윗 라인(n-1)에서 수평 방향으로 보간 픽셀을 만드는 수학식이고, 상기 수학식 8은 수직 보간에 이용되는 아래 라인(n)에서 수평 방향으로 보간 픽셀을 만드는 수학식이다.

한편, 수평 보간의 경우에도 동일한 방법으로 이용할 수 있다.

본 발명은 상기와 같은 화소 정합에 의한 에지 방향 탐색과 에지 방향의 보간 필터링을 이용하여 영상의 에지 부분 블러링 문제를 많이 개선한다. 또한, 기존의 다른 에지 방향 보간 방법들에 비하여 적은 구현 비용 및 계산량을 요한다. 따라서, 본 발명을 사용한 제품은 상대적으로 적은 비용과 뛰어난 보간 화질의 장점으로 경쟁력을 확보할 수 있다.

이상에서와 같이 본 발명에 따른 영상 보간 방법 및 장치에 의하면, 영상의 로컬 특성에 따라 에지 방향을 추정한 후 추정된 에지 방향으로 입력 영상의 보간을 수행함으로써, 에지의 블러링을 최소화할 수 있다. 또한, 수평, 수직 방향의 보간을 독립적으로 수행함으로써, 메모리 및 하드웨어를 효율적으로 사용할 수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims (16)

1. 입력되는 화소들을 수직, 수평 방향으로 보간하는 영상 보간 방법에 있어서,

   입력되는 화소들을 이용한 화소 정합에 의해 에지 방향을 탐색하는 단계; 그리고

   상기 탐색된 에지 방향으로 보간 필터링을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상 보간 방법.
2. 제 1 항에 있어서, 상기 에지 방향 탐색 단계는

   수직 방향 보간인 경우, 보간할 화소의 위/아래 라인에 위치한 화소들을 정합하여 최소 오차를 갖는 에지 방향을 탐색하는 것을 특징으로 하는 영상 보간 방법.
3. 제 2 항에 있어서, 상기 에지 방향 탐색 단계는

   측정 함수를 사용하여 각 에지 방향의 오차를 측정하고, 이 중 최소 오차 값을 갖는 방향을 에지 방향으로 결정하는 것을 특징으로 하는 영상 보간 방법.
4. 제 2 항에 있어서, 상기 에지 방향 탐색 단계는

   신호의 변화량이 적은 평탄 영역과 신호의 변화가 극심한 텍스쳐 부분에서는 에지 방향을방향으로 결정하는 것을 특징으로 하는 영상 보간 방법.
5. 제 4 항에 있어서, 상기 에지 방향 탐색 단계는

   다음의 수학식을 적용하여 에지 방향(edge＿direction)을 결정하는 것을 특징으로 하는 영상 보간 방법.

   여기서,, T는 문턱치,는 0보다 크고 1보다 작은 값임.
6. 제 1 항에 있어서, 상기 에지 방향 탐색 단계는

   상기 탐색된 에지 방향에 따른 상대적 수평 좌표를 수직 화소 정합의 결과로 출력하는 것을 특징으로 하는 영상 보간 방법.
7. 제 1 항에 있어서, 상기 보간 단계는

   하기의 식을 적용하여 입력 영상을 수직 방향으로 2배 보간하는 것을 특징으로 하는 영상 보간 방법.

   여기서, n은 보간되기 전의 화소들의 위치를 나타내는 인덱스이고, n'은 수직 방향으로 보간된 화소들의 위치를 나타내는 인덱스임.
8. 제 1 항에 있어서,

   상기 에지 방향 탐색 및 보간은 수직 방향과 수평 방향에 대해 독립적으로 수행하는 것을 특징으로 하는 영상 보간 방법.
9. 제 1 항에 있어서, 상기 에지 방향 탐색 단계는

   수평 방향 보간인 경우, 보간할 화소의 좌/우에 위치한 화소들을 정합하여 최소 오차를 갖는 에지 방향을 탐색하는 것을 특징으로 하는 영상 보간 방법.
10. 제 9 항에 있어서, 상기 에지 방향 탐색 단계는

    측정 함수를 사용하여 각 에지 방향의 오차를 측정하고, 이 중 최소 오차 값을 갖는 방향을 에지 방향으로 결정하는 것을 특징으로 하는 영상 보간 방법.
11. 제 10 항에 있어서, 상기 에지 방향 탐색 단계는

    신호의 변화량이 적은 평탄 영역과 신호의 변화가 극심한 텍스쳐 부분에서는 에지 방향을방향으로 결정하는 것을 특징으로 하는 영상 보간 방법.
12. 제 9 항에 있어서, 상기 에지 방향 탐색 단계는

    상기 탐색된 에지 방향에 따른 상대적 수직 좌표를 수평 화소 정합의 결과로 출력하는 것을 특징으로 하는 영상 보간 방법.
13. 제 1 항에 있어서, 상기 보간 단계는

    입력 영상을 다양한 배수로 보간하는 경우,

    실제 보간할 화소가 있는 위치에서 상기 결정된 에지 방향으로 연장선을 그었을 때 교차되는 라인의 위치가 원래의 샘플 위치와 일치하지 않는 경우, 상기 교차점 주위의 복수개의 픽셀을 이용하여 수평 방향으로 보간 픽셀을 만든 후 상기 수평 방향 보간 픽셀을 이용하여 실제 보간할 화소를 만드는 것을 특징으로 하는 영상 보간 방법.
14. 입력되는 화소들을 수직, 수평 방향으로 보간하는 영상 보간 장치에 있어서,

    입력되는 화소들을 이용한 화소 정합에 의해 수직 방향에 대한 에지 방향을 탐색하고, 상기 탐색된 에지 방향으로 수직 보간 필터링을 수행하는 수직 방향 보간부; 그리고

    입력되는 화소들을 이용한 화소 정합에 의해 수평 방향에 대한 에지 방향을 탐색하고, 상기 탐색된 에지 방향으로 수평 보간 필터링을 수행하는 수평 방향 보간부를 포함하여 구성되며, 상기 수직 방향 보간부와 수평 보간 필터부가 서로 독립적인 구조를 갖는 것을 특징으로 하는 영상 보간 장치.
15. 제 14 항에 있어서, 상기 수직 방향 보간부는

    보간할 화소의 위/아래 라인에 위치한 화소들을 정합하여 최소 오차를 갖는 에지 방향을 결정하고, 상기 결정된 에지 방향에 따른 상대적 수평 좌표를 수직 화소 정합의 결과로 출력하는 수직 화소 정합부와,

    상기 입력되는 화소와 1 라인 지연된 화소 그리고, 상기 수직 화소 정합부의 결과를 이용하여 수직 방향으로 보간을 수행하는 수직 보간 필터부로 구성되는 것을 특징으로 하는 영상 보간 장치.
16. 제 14 항에 있어서, 상기 수평 방향 보간부는

    보간할 화소의 좌/우에 위치한 화소들을 정합하여 최소 오차를 갖는 에지 방향을 결정하고, 상기 결정된 에지 방향에 따른 상대적 수직 좌표를 수평 화소 정합의 결과로 출력하는 수평 화소 정합부와,

    상기 입력되는 화소와 다수개의 라인 메모리를 통해 각각 라인 단위로 순차 지연된 화소들 그리고, 상기 수평 화소 정합부의 결과를 이용하여 수평 방향으로 보간을 수행하는 수평 보간 필터부로 구성되는 것을 특징으로 하는 영상 보간 장치.