KR20080079392A - 적응적 영상 보간 장치 및 방법 - Google Patents

Abstract

본 발명은 부화소 단위의 선형 보간법에 기반한 적응적인 영상을 보간하는 장치 및 방법에 관한 것으로, 선형 보간법에서 매 화소마다 도입되는 매개변수를 최적으로 구하기 위한 시스템을 갖춘 선형 보간법에 기반한 적응적인 영상 보간 장치 및 검출 방법이다.

이를 위해 본 발명은, 선형 보간법에 기반한 적응적인 영상 보간 장치에 있어서, 저 해상도 영상의 매 화소에 대하여 매개변수를 이용하여 선형 보간을 하는 제 1차 선형 보간부; 상기 제 1차 선형 보간부를 통과한 화소들을 저역 필터링 하는 저역 필터부; 상기 저역 필터부를 통과한 화소들을 2:1로 간축(downsampling)하는 간축부; 상기 간축부를 통과한 화소들과 제 1차 선형 보간부를 통과하기 전의 화소들을 이용하여 차분 신호를 생성하는 차분 신호 생성부; 상기 생성된 차분 신호를 이용하여 상기 매개변수의 값을 산출하는 매개변수 산출부; 및 상기 산출된 매개변수의 값을 이용하여 선형 보간을 하는 제 2차 선형 보간부를 포함하는 것을 특징으로 한다.

영상, 보간, 부화소

Description

적응적 영상 보간 장치 및 방법{Device and method of adaptive image interpolation }

도 1은 본 발명에 따른 선형 보간에 기반한 적응 보간법 시스템을 간략하게 도시한 구성도.

도 2는 도 1의 차분 신호 생성과정을 상세하게 표시한 플로우 챠트.

도 3은 발명의 일실시 예에 따른 복잡도를 최소화하기 위하여 저역필터부에 가우시안 필터를 적용하여 매개변수 값을 찾는 과정을 장치 및 방법으로 도시한 구성도.

<도면의 주요 부분에 대한 설명>

100: 제 1차 선형 보간부 110: 저역 필터부

120: 간축부 130: 차분 신호 생성부

140: 매개변수 산출부 150: 제 2차 선형 보간부

300: 선형 보간부 310: 영상 버퍼부

320: 덧셈기 330: 쉬프트 연산기

340: 나눗셈기

영상 보간법은 많은 분야에서 기초 기술로써 중요한 역할을 수행한다. 비록 보간법이 두 샘플의 임의의 사이 값을 모두 계산할 수 있게 구축돼야 하지만, 부화소 단위의 영상 보간은 디지털 카메라 응용, 영상 압축, 디지털 TV 분야 등등에서 빈번히 사용된다. 예를 들면, CFA(color filter array)에서의 영상 보간, YUV 영상에서의 4:2:2 또는 4:2:0 포맷에서 4:4:4 포맷으로 변환, 격행 주사(interlaced scan)된 디지털 TV 영상에 대한 격행 주사선 제거(de-interlacing)에서의 보간, 리프팅(lifting) 기반 웨이블릿 변환(wavelet transform) 구축 등등을 들 수 있다. 따라서 이들 분야에서는 부 화소 단위의 효율적인 영상 보간법이 요구된다.

가장 간단하고 쉽게 접근할 수 있는 보간은 영차 보간(zeroth order interpolation)이다. 이 방법은 구현이 간단하여 저 복잡도를 요구하는 보간 응용 분야에서 사용 가능하지만 보간된 영상의 화질이 좋지 못한 단점이 존재한다. 이러한 단점을 보완하기 위하여 화질을 높이기 위한 방법으로 선형보간(linear interpolation) 방법, 3차 컨벌루션 보간(cubic convolution interpolation), 스플라인 보간(spline interpolation) 등의 고전적인 방법이 사용되었다. 이들 방법들은 화질의 개선 효과가 있지만 영상의 에지 부분에서 흐림 현상(blurring)을 유발하는 단점도 존재하였다.

상기의 단점을 보완하기 위하여, 보간된 영상의 화질을 개선하기 위한 방법으로 적응 보간(adaptive interpolation)이 제안되었다. 적응적인 보간법은 매 화소마다 어떠한 매개변수로 보간할지에 대한 정보를 얻기 위해서 다양한 방법의 모 델을 세우고 이에 따른 매개변수를 구하는 것으로 정리된다.

적응적 보간법 구축 시 기본 모델을 3차 보간법에서 출발하는 경우가 많다. 이는 3차 보간법이 선형 보간법보다 대체로 우수한 성능을 보이기 때문이다. 그러나 선형 보간법은 3차 보간법에 비해서 간단하다는 장점이 있다. 또한 선형 보간법에 기반한 적응 보간을 수행한 영상은 3차 보간법에 기반한 적응 보간을 수행한 영상에 비해 화질 면에서 대등한 면을 보인다.

종래의 선형 보간법에 기반한 적응 보간 방법은 적응 매개변수에 왜곡거리(warped distance)를 도입하여 화질을 개선하였다. 하지만, 상기 왜곡거리 를 적응 매개변수에 도입한 방법은 적응 매개변수를 구하는 과정에서 매 영상의 최적인 매개변수를 실험적으로 구해야 하며 방대한 계산량을 필요로 한다는 단점이 있어 현실적으로 사용하기에 다소 부족한 점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 상기 매개변수 값을 유도하기 위하여 최소 평균 자승 에러(minimum mean square error)방법을 이용하여 주변의 영상화소가 데이터로 주어지면 상기 데이터로부터 최적의 결과로 예측되는 매개변수를 수식에 의해서 자동으로 계산되도록 하는 선형 보간법에 기반한 적응 영상 보간 장치 및 방법을 제공하는데 있다.

상기의 목적을 달성하기 위한 본 발명은 선형 보간법에 기반한 적응적인 영상 보간 장치에 있어서, 저 해상도 영상의 매 화소에 대하여 매개변수를 이용하여 선형 보간을 하는 제 1차 선형 보간부; 상기 제 1차 선형 보간부를 통과한 화소들을 저역 필터링 하는 저역 필터부; 상기 저역 필터부를 통과한 화소들을 2:1로 간축(downsampling)하는 간축부; 상기 간축부를 통과한 화소들과 제 1차 선형 보간부를 통과하기 전의 화소들을 이용하여 차분 신호를 생성하는 차분 신호 생성부; 상기 생성된 차분 신호를 이용하여 상기 매개변수의 값을 산출하는 매개변수 산출부; 및 상기 산출된 매개변수의 값을 이용하여 선형 보간을 하는 제 2차 선형 보간부를 포함하는 것을 특징으로 한다.

또한, 상기 매개변수의 값은 상기 매개변수 산출부에서 상기 차분 신호를 이용하여 수학식 5와 6에 의해 구해짐을 특징으로 한다.

또한, 상기 저역 필터부는 3점 가우시안 필터를 이용하여 필터링 하는 것을 특징으로 한다.

또한, 상기 매개변수 산출부는 하나의 나눗셈기와 복수의 덧셈기, 그리고 복수의 쉬프트 연산기를 이용하여 매개변수의 값을 산출하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명은, 선형 보간법에 기반한 적응적인 영상을 보간하는 방법에 있어서, 저해상도 영상의 매 화소에 대하여 매개변수를 이용하여 선형 보간을 하는 제 1차 선형 보간 단계; 상기 제 1차 선형 보간 단계를 통과한 화소들을 저역 필터링 하는 저역 필터링 단계; 상기 저역 필터 단계를 통과한 화소들을 2:1로 간축하는 간축 단계; 상기 간축 단계를 통과한 화소들과 제 1차 선 형 보간부를 통과하기 전의 화소들을 이용하여 차분 신호를 생성하는 차분 신호 생성 단계; 상기 생성된 차분 신호를 이용하여 매개변수의 값을 구하는 매개변수 산출 단계; 및 상기 산출된 매개변수의 값을 이용하여 선형 보간을 하는 제 2차 선형 보간 단계를 포함하는 것을 특징으로 한다.

또한, 상기 매개변수 산출 단계에서 매개변수의 값을 구하는 것은 상기 차분 신호를 이용하여 아래의 수학식 5와 6에 의해 달성됨을 특징으로 한다.

또한, 상기 저역 필터 단계는 3점 가우시안 필터를 이용하여 필터링 하는 것을 특징으로 한다.

또한, 상기 매개 변수 산출 단계는 보간할 화소의 주변 화소를 이용하여 한번의 나눗셈과 복수의 덧셈 그리고 복수의 쉬프트 연산을 통하여 매개변수의 값을 산출하는 것을 특징으로 한다.

본 발명은 부화소 단위의 적응 보간법을 특징으로 한다.

고전적인 선형 보간에서 부화소 위치(S=0.5)의 보간은 화소의 평균값으로 계산되지만 본 발명에서는 이 부화소 값을 계산하기 위한 방법으로 수학식 1의 S를 매개변수로 이용한다.

즉, 부화소의 위치를 무시하고 매개 변수화 하고 이를 새롭게 계산하여 신규 위치로 선형 보간한다.

이하에서는 본 발명의 바람직한 실시예를 본 도면을 참조하여 상세하게 설명 하도록 한다.

도 1은 본 발명에 따른 선형 보간에 기반한 적응 보간법 시스템을 간략하게 도시한 구성도를 나타낸다.

도 1에 도시된 바와 같이 본 발명의 일실시 예에 따른 선형 보간에 기반한 적응 영상 보간 장치는 제 1차 선형 보간부(100), 저역필터부(110), 간축부(120), 차분 신호 생성부(130), 매개변수 산출부(140), 제 2차 선형 보간부(150)를 포함한다.

제 1차 선형 보간부(100)는 저해상도 영상의 매 화소에 대해서 일차적으로 매개변수 S를 이용하여 선형 보간을 한다. 상기 선형 보간된 화소들은 저해상도 영상의 화소들과 그 사이에 보간된 고 해상도 화소들로 구성된다.

저역 필터부(110)는 상기 제 1차 선형 보간된 화소들을 저역 필터링 한다. 상기 저역 필터부의 도입 이유는 일반적으로 고 해상도 영상에서 저 해상도 영상으로 변환될 때 에이리어싱(aliasing) 현상을 제거하기 위해서 저역 필터를 사용하고 카메라를 통해서 얻은 영상의 경우 렌즈에 의한 흐림 효과(blurring)가 발생하는데 이는 저역 필터로 모델링 되기 때문이다. 또한 매개 변수가 미치는 영향을 여러 화소에 걸치게 해서 최적인 매개 변수를 구하기 용이하게 하기 위함이다.

간축부(120)는 상기 저역 필터를 통과한 화소들을 2:1로 간축 한다. 상기 간축부는 매개변수로 이루어진 고해상도 화소를 상기 저역필터 수행 후에 원 저해상도 영상화소와 위치를 일치시킨다.

차분 신호 생성부(130)는 상기 간축부를 통과한 화소들과 제 1차 선형 보간부를 통과하기 전의 화소들을 이용하여 차분 신호 dn(s)를 구한다.

매개변수 산출부(140)은 상기 차분 신호를 이용하여 매개 변수값을 산출한다.

제 2차 선형 보간부(150)은 상기 산출된 매개변수를 이용하여 선형 보간을 완료한다.

도 2는 도 1의 차분 신호 생성과정을 상세하게 표시한 플로우 챠트이다.

도 2에 도시된 바와 같이, 최상단의 보간이 될 화소 위치에서 매개변수 S를 포함하는 제 1차 선형 보간(S100)단계가 수행되면, 보간된 고해상도 화소들은 수학식 2와 같이 정의된다.

여기서 k=2n+1 위치는 보간할 화소의 위치이다. 보간할 현 화소의 위치는 매개 변수에 의한 함수가 되고 기타 보간될 화소의 위치는 고전적인 선형 보간을 사용한다.

상기 매개변수화된 고해상도 영상 화소들은 저역필터단계(S110)를 거쳐 간축단계(S120)에서 2:1로 간축된다. 상기 수학식 2와 같이 정의된 고해상도 화소들은 상기 저역필터링 단계와 상기 간축단계를 거쳐 수학식 3과 같이 정의된다.

여기서 gm , m=0,…,M-1은 저역필터 계수 값이다.

상기 수학식 3과 제 1차 선형 보간 단계를 수행하기 전의 화소들을 이용하여 차분신호단계(S130)를 거쳐 아래의 수학식 4가 얻어진다.

상기 차분 신호 dn(s)는 s에 관한 함수이고 도 2의 하단에서 보여지듯이 벡터 형식을 갖는다. 따라서 상기 차분 신호는 랜덤변수(random variables)로 해석할 수 있다. 매개 변수 값을 구하기 위해서 가격함수(cost function) 도입이 필요하다. 상기 차분 함수의 에너지가 통계적으로 최소가 되면 보간 효율이 좋기 때문에 수학식 5와 같이 가격함수를 둔다.

(여기서, C는 가격함수, dn(s)는 차분 신호, E[(dn(s))²]는 차분 신호의 에너지.)

가격함수가 정해지면 상기 가격함수를 최소로 하는 매개변수 값을 구하기 위한 방정식이 수학식 6과 같이 정의된다.

수학식 6의 방정식을 풀면 매개변수 s가 얻어진다. 상기 구해진 매개변수 s를 수학식 1에 적용하여 현재의 보간할 부화소를 최종적으로 구한다.

일반적으로 최소평균자승에러를 이용한 방법은 상기 수학식 6과 같은 형식의 방정식을 얻는다. 매개변수가 많아지면 방정식의 형태는 행렬(matrix)이 포함된 방정식이 되어서 일반적으로 방정식을 구하는 과정이 복잡하고 연산 양이 많이 요구된다.

상기 도 1과 도 2에 제안된 적응 선형 보간법은 저역필터와 최소 자승을 구하기 위한 영역 범위가 시스템 변수가 된다. 이 두 시스템 변수를 정의하기 위한 방법으로 본 발명에서는 복잡도를 최소화하는 방법으로 결정한다.

상기 가우시안 필터는 계수가 [1, 2, 1]/4임으로 구현적으로 간단하며 상기 수학식 3에 적용하면 M=3이 된다. 더 긴 길이의 필터를 사용하기 위해서는 보다 더 큰 최소 자승 영역 범위가 요구됨으로 본 발명에서는 도 1과 같이 제안된 구조에서 선택할 수 있는 가장 간단한 형태의 저역필터인 가우시안 필터를 선택한다. 상기 최소 자승 영역 범위는 상기 수학식 4의 차분 신호의 크기를 의미한다. 일 차원 영역 범위를 정의하면 가장 작은 영역의 크기는 2이다. 즉, 도 2에서 보여지듯이 보간될 화소의 양쪽 옆 화소를 이용하여 보간함을 알 수 있다.

상기 영역 범위가 2로 정해지고 상기 수학식 5의 가격함수는 아래의 수학식 7이 된다.

상기 수학식 3에 저역 필터 [1, 2, 1]/4를 적용해서 상기 수학식 7을 정리하면 아래의 수학식 8이 된다.

여기서 각 계수 값은 아래와 같이 정의한다.

상기 수학식 8과 같이 정의된 가격함수를 최소화 하는 매개변수(s)를 구하기 위해서 미분을 도입하여 정리하면 아래의 수학식 9가 얻어진다.

상기 매개변수(s)는 범위가 0과 1사이의 값이므로 이를 벗어난 경우는 상기 수학식 9의 우측항처럼 처리해준다. 또한 상기 계수 Co 값이 0이 될 경우는 상기 매개변수(s)의 값을 0.5로 두어서 장치의 안정성을 도모한다.

상기 수학식 9를 이용하여 최종적으로 주변의 화소값을 데이터로 적응 매개 변수를 구할 수 있다. 즉 매번 복잡한 방정식을 계산하고 해석할 필요 없이 상기 수학식 9를 테이블 방식으로 저장하여 상기 매개변수 값을 자동으로 얻어낼 수도 있다. 따라서 적응 매개 변수를 구하는 계산 양이 획기적으로 감소됨을 알 수 있다.

도 3은 상기 발명의 일실시 예에 따른 복잡도를 최소화하기 위하여 저역필터부에 가우시안 필터를 적용하여 매개변수 값을 찾는 상기의 과정을 장치 및 방법으로 도시한 구성도이다.

영상 버퍼부(310)에 영상데이터가 일차원적으로 배열되어 있고 화소의 사이사이 값을 보간하는 경우, 상기 보간할 화소값이 X이고 이 X의 주변 화소 4개를 이용하여 아래 방향으로 최적화된 매개변수(s)를 구하는 장치가 구현되어 있다. 상기 장치는 덧셈부(320) 5개와 쉬프트연산부(330) 4개 그리고 나눗셈부(340) 하나로 간단히 구현됨을 알 수 있다. 따라서 본 발명은 소프트웨로 구현하건 하드웨어로 구현하건 최적화된 매개변수를 구하는 장치가 기존의 최적화 방법보단 상당히 간략히 구현됨을 알 수 있다.

본 발명은 영상을 보간하는 방법에 있어서 국부적인 화소 데이터를 이용하여 적응적으로 보간할 수 있는 방법인, 적응 매개변수를 계산하는 방법이 완전 자동 방식이며 최적화된 변수를 제공하는 방법을 제공할 뿐만 아니라, 계산량에 있어서도 기존의 적응적 방법에 비하여 상당히 작다는 것을 알 수 있다. 따라서 영상의 확대 및 조절해야 하는 휴대형 및 인베디드 시스템에서 저렴한 가격으로 상당한 수준의 화질을 개선할 수 있다.

Claims (8)

1. 저 해상도 영상의 매 화소에 대하여 매개변수를 이용하여 선형 보간을 하는 제 1차 선형 보간부;

   상기 제 1차 선형 보간부를 통과한 화소들을 저역 필터링 하는 저역 필터부;

   상기 저역 필터부를 통과한 화소들을 2:1로 간축(downsampling)하는 간축부;

   상기 간축부를 통과한 화소들과 제 1차 선형 보간부를 통과하기 전의 화소들을 이용하여 차분 신호를 생성하는 차분 신호 생성부;

   상기 생성된 차분 신호를 이용하여 상기 매개변수의 값을 구하는 매개변수 산출부; 및

   상기 산출된 매개변수 값을 이용하여 선형 보간을 하는 제 2차 선형 보간부를 포함하는 것을 특징으로 하는 선형 보간법에 기반한 적응적인 영상 보간 장치.
2. 제 1항에 있어서,

   상기 매개변수의 값은 매개변수 산출부에서 상기 차분 신호를 이용하여 아래의 수학식에 의해 구해짐을 특징으로 하는 선형 보간법에 기반한 적응적인 영상 보간 장치.

   [수학식]

   

   

   (여기서, C는 가격함수, dn(s)는 차분 신호, E[(dn(s))²]는 차분 신호의 에너지.)
3. 제 1항에 있어서,

   상기 저역 필터부는 3점 가우시안 필터를 이용하여 필터링 하는 것을 특징으로 하는 선형 보간에 기반한 적응적인 영상 보간 장치.
4. 제 3항에 있어서,

   상기 매개변수 산출부는 하나의 나눗셈기와 복수의 덧셈기, 그리고 복수의 쉬프트 연산기를 이용하여 매개변수의 값을 산출하는 것을 특징으로 하는 선형 보간에 기반한 적응적인 영상 보간 장치.
5. 선형 보간법에 기반한 적응적인 영상 보간 방법에 있어서,

   저해상도 영상의 매 화소에 대하여 매개변수를 이용하여 선형 보간을 하는 제 1차 선형 보간 단계;

   상기 제 1차 선형 보간 단계를 통과한 화소들을 저역 필터링 하는 저역 필터링 단계;

   상기 저역 필터 단계를 통과한 화소들을 2:1로 간축하는 간축 단계;

   상기 간축 단계를 통과한 화소들과 제 1차 선형 보간부를 통과하기 전의 화소들을 이용하여 차분 신호를 생성하는 차분 신호 생성 단계;

   상기 생성된 차분 신호를 이용하여 매개변수의 값을 구하는 매개변수 산출 단계; 및

   상기 산출된 매개변수의 값을 이용하여 선형 보간을 하는 제 2차 선형 보간 단계를 포함하는 것을 특징으로 하는 선형 보간법에 기반한 적응적인 영상 보간 방법.
6. 제 5항에 있어서,

   상기 매개변수 산출 단계에서 매개변수의 값을 구하는 것은 상기 차분 신호를 이용하여 아래의 수학식에 의해 달성됨을 특징으로 하는 선형 보간법에 기반한 적응적인 영상 보간 방법.

   [수학식]

   

   

   (여기서, C는 가격함수, dn(s)는 차분 신호, E[(dn(s))²]는 차분 신호의 에너지.)
7. 제 5항에 있어서,

   상기 저역 필터 단계는 3점 가우시안 필터를 이용하여 필터링 하는 것을 특징으로 하는 선형 보간에 기반한 적응적인 영상 보간 방법.
8. 제 7항에 있어서,

   상기 매개 변수 산출 단계는 보간할 화소의 주변 화소를 이용하여 한번의 나눗셈과 복수의 덧셈 그리고 복수의 쉬프트 연산을 통하여 매개변수의 값을 산출하는 것을 특징으로 하는 선형 보간에 기반한 적응적인 영상 보간 방법.

Images