KR970008531B1 - 시간축 내삽기 - Google Patents

Abstract

없음.

Description

시간축 내삽기

도 1은 전형적인 시간축 내삽기의 블럭도.

도 2는 본 발명의 바람직한 실시예에 따라 이동 보상 및 내삽에 이용되는 픽셀 추정의 일 실시예를 나타낸 도면.

도 3은 추정하고자 하는 픽셀이 픽셀 그리드의 값이 아닌 경우 픽셀의 매핑을 설명하기 위해 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명

10 : 이동벡터 추정부20 : 움직임 검출부

30 : 시간축 내삽필터

[발명의 목적]

[발명이 속하는 기술분야 및 분야의 종래기술]

본 발명은 시간축 내삽(interpolation) 필터의 구현에 관한 것으로서, 더욱 상세하게는 시간축으로 프레임 레이트(frame rate)를 바꾸는데 이용되는 시간축 내삽필터를 2차원 필터 형태로 전환함으로써 하드웨어 구현을 용이하게 하는 시간축 내삽기에 관한 것이다.

도 1은 시간축으로 프레임 레이트를 바꾸기 위하여 이용되는 전형적인 시간축 내삽기의 블럭도로서, 움직이는 입력 영상신호는 이동벡터 추정부(10)에서 현재 프레임의 픽셀(또는 픽셀들의 구획)들이 이전 프레임에 비해 어느 방향으로 얼마나 움직였는지를 추정한다.

여기서, 이동벡터는 움직이는 입력 영상신호에서 현재 프레임의 픽셀(또는 픽셀들의 구획)들이 이전 프레임에 비해 어느 방향으로 얼마나 움직였는가를 픽셀 단위의 벡터량으로 표시한 것이다.

또한, 입력 영상신호는 움직임 검출부(20)에서 현재 필드(또는 프레임)의 픽셀을 이전 필드(또는 프레임)의 픽셀과 비교하여 움직임이 있는지를 판단한다. 즉, 프레임간 신호 처리에서는 각 프레임을 움직임의 정도에 따라 정지 영역과 움직임 영역으로 구분하여 처리하는데, 이 구분 과정이 움직임 검출에 해당된다.

그리고, 움직임 검출부(20)의 검출 결과에 따라 스위칭부(SW1)는 상기 이동 벡터 추정부(10)의 출력단 또는 0레벨로 전환되어 시간축 내삽필터(30)에 이동벡터 추정부(10)의 출력 또는 0레벨의 신호를 입력한다.

한편, 시간축 내삽필터(30)는 입력 영상신호와 스위칭부(SW1)에서 제공되는 추정된 물체의 움직임 정도에 따라 이전 필드(또는 프레임)의 신호를 이동벡터만큼 시간축으로 보간을 해준다.

이때, 시간축 내삽을 위하여 내삽 방정식을 구현하면 하기의 수식과 같다.

[수식 1]

I(Z, t-τ)=τ·I(Z+(1-τ)·D(Z,n-τ),n-1)+(1-τ)·I(Z-τ·D(Z,n-τ),n)

여기서, 0<τ<1이고, D(Z, n-τ)는 n번째에서 (n-1) 프레임으로 구한 이동벡터중 (Z, n-τ) 위치를 통과하는 이동벡터이다.

그런데, 상기 수식 1에서 보간하고자 하는 보간 프레임(n-Z) 내의 픽셀 I(Z, t-τ)는 픽셀 그리드의 값이 아닐 수 있기 때문에 도 2에서와 같이 주위 4개의 픽셀값을 이용하여 추정, 즉 다음의 수식과 같이 추정하게 된다.

[수식 2]

I(Z-τ·D(Z,n-τ),n)=(1-△x)(1-△y)·I(Z1,n)+△x(1-△y·I(Z2,n)+(1-△x)△y·I(Z3,n)+△x△y·I(Z4,n)

그러나, 상기한 수식 1을 하드웨어로 구현하기 위해서는 많은 횟수의 메모리 억세스와 곱셈 및 덧셈이 필요, 즉 현재 프레임(또는 필드) n과 이전 프레임(또는 필드) n-1에서 보간 프레임(또는 필드)용 픽셀의 보간을 위해 추정하고자 하는 픽셀이 픽셀 그리드 값이 아닌 경우 주변 4픽셀을 이용하여 움직임을 추정하게 되는데, 이 경우 각 프레임(또는 필드)에서는 각각 네 번의 메모리 억세스(예를 들면, n프레임에서의 Z1-Z4 픽셀 억세스 및 n-1 프레임에서의 Z1-Z4 픽셀 억세스)와 다수의 곱셈 및 덧셈을 각각 필요로 하게 되므로 하드웨어 구현이 어려운 문제점이 있다.

또한, 픽셀 클럭이 증가하는 경우 그에 따른 메모리 억세스나 시간지연으로 인하여 실시간으로 시간축 내삽이 수행할 수 없다는 문제점이 있었다.

[발명이 이루고자 하는 기술적 과제]

본 발명은 상기한 종래의 문제점을 해결하기 위한 것으로, 시간축 내삽필터를 2차원 필터 형태로 전환함으로써 메모리 억세스와 곱셈 및 덧셈의 수행 횟수를 줄여 하드웨어 구현이 용이하고 또한, 실시간으로 시간축 내삽을 실현할 수 있는 시간축 내삽기를 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명은, 시간적으로 연속하는 현재 프레임과 이전 프레임간의 움직임 영역에서의 이동벡터를 추정하고, 이 추정된 이동벡터를 이용하여 목표로 하는 보간 프레임을 생성하는 시간축 내삽기에 있어서, 상기 현재 프레임의 각 픽셀들이 상기 이전 프레임의 대응 픽셀들에 비해 어느 방향으로 얼마나 움직였는지를 추정하는 이동벡터 추정부; 상기 현재 프레임의 각 픽셀과 상기 이전 프레임의 각 대응 픽셀을 각각 비교하여 움직임 영역을 판단하며, 그 판단결과에 상응하는 절환 제어신호를 발생하는 움직임 검출부; 상기 움직임 검출부로부터의 절환 제어신호에 의거하여 상기 이동벡터 추정부에서 제공되는 이동벡터 또는 제로레벨의 출력을 선택하는 스위칭부 및 상기 현재 프레임 및 이전 프레임 데이터를 저장하기 위한 프레임 메모리, 상기 현재 프레임의 픽셀들과 이에 대응하는 상기 이전 프레임의 대응 픽셀들간의 이동벡터들에 각각 대응하는 필터계수들을 갖는 룩업 테이블, 상기 현재 프레임 및 이전 프레임을 위한 2개의 2차원 필터로 구성되어, 상기 현재 프레임과 이전 프레임, 상기 스위칭부를 통해 제공되는 현재 프레임과 이전 프레임간의 움직임 영역에서의 현재 픽셀 및 이에 대응하는 이전 픽셀간의 이동벡터 및 각 이동벡터에 각각 대응하는 기저장된 필터계수값들에 의거하는 2차원 필터링을 통한 시간축 보간을 통해 상기 목표 보간 프레임을 생성하는 시간축 내삽필터를 포함하고, 상기 시간축 내삽필터는, 다음의 수식에 의한 2차원 필터링을 통해 상기 목표 보간 프레임의 생성을 위한 보간 픽셀들을 생성하는 것을 특징으로 하는 시간축 내삽기를 제공한다.

(여기서, I(Z,t-τ)는 생성하고자 하는 상기 목표 보간 프레임내의 픽셀 그리드 값이고, τ는 0<τ<1, D(Z,n-τ)는 n번째 프레임에서 (n-1)번째 프레임으로 구한 이동벡터 중 보간하고자 하는 (Z,N-τ) 위치를 통과하는 이동벡터이며, 0<k1,k2<∞이다.)

[발명의 구성 및 작용]

이하, 본 발명의 바람직한 실시예에 따른 시간축 내삽기의 일 실시예에 대하여 상세히 설명한다.

먼저, 본 발명은 도 1에 도시된 구성에서 시간축 내삽필터(30)의 구현에 가장 큰 기술적인 특성을 갖는 것으로, 동 도면에서의 상세한 도시는 생략되었으나, 시간축 내삽필터(30)는 본 발명에 따라 두 개의 2차원 필터, 룩업 테이블 및 현재 프레임(또는 필드)과 이전 프레임(또는 필드) 데이터를 저장하는 프레임(또는 필드) 메모리를 포함한다.

보다 상세하게, 룩업 테이블에는 현재 프레임(또는 필드)(n)의 픽셀들과 이들에 각각 대응하는 이전 프레임(또는 필드)(n-1)의 픽셀들간의 각 이동벡터에 대응하는 필터계수, 즉 보간하고자 하는 보간 프레임(n-Z)의 대응 보간 픽셀을 통과하는 각 이동벡터에 대응하는 필터계수가 저장되어 있다.

또한, 시간축 내삽필터(30)에 채용되는 2차원 필터의 일예로서는 본 출원인에 의해 대한민국 특허청에 출원되어 제106313호로 등록된 장치 등을 이용할 수 있다.

따라서, 시간축 내삽필터(30)에서는 이동벡터 추정부(10)에서 제공되는 이동벡터와 각 이동벡터에 대응하는 필터계수가 저장된 룩업 테이블상의 필터계수를 이용하여, 움직임 영역일 때 이동벡터에 따라 필터계수를 바꿔가면서 필터링을 수행한다.

상기한 바와 같은 본 발명의 구현하는 데 있어서, 먼저 시간축 내삽필터를 2차원 형태의 필터로 전환하기 위하여 전술한 수식 1의 첫항, 즉 n-1 프레임(또는 필드)의 픽셀 위치가 일 예로서 도 2에 도시된 바와 같을 때 도 3을 참조하여 전개하면 하기의 수식과 같다.

[수식 3]

즉, 상기한 수식 3에서 4개의 각 항은 도 2에 도시된 Z1, Z2, Z3, Z4의 각 픽셀값에 각각 가중치를 주어서 합한 것이며, 또한 수식 3에서 Z=(x,y), D(Z,n-τ)=dx(x,y,n-τ), dy(x,y,n-τ)이다.

그리고, dx(x,y,n-τ)(1-τ) 또는 dy(x,,y,n-τ)(1-τ)를 변수 a라고 하면, 「a」=sign(a)·mint(abs(a)), 『a』=sign(a)·mint(abs(a)+1)를 나타낸다.

이때,

를 나타낸다.

그리고, mint(abs(a)) 또는 mint(abs(a)+1)은 가까운 정수로 취하는 것이고, abs(a)는 절대값을 취하는 것이다.

한편, △x1, △y2는 도 2에서처럼 해당 벡터에 따라 결정된다.

따라서, 상기 수식 3은 δ(a)을 이용하여 표현이 가능하다.

이때,

인 것을 특징으로 한다.

따라서, 상기한 수식 3을 2차원 필터 형태로 전환하기 위하여 다시 쓰면 하기의 수식과 같이 치환할 수 있다.

[수식 4]

여기서, 0<k1,k2<∞이다.

이때, 상기 수식 4는 자체로서 이전 프레임을 이용하여 시간축 내삽에 이용되는 픽셀 및 가중치를 계산하는 것으로서, k1, k2의 최대 영역을 최대 이동의 크기 이상으로 선정하고 최대 이동의 크기를 N이라 하면 하기의 수식과 같이 표현된다.

[수식 5]

즉, 상기한 수식 4 자체가 2차원 필터의 형태가 된다 .이와 마찬가지로 전술한 수식 1의 둘째항도 상기한 수식 5와 같이 유도할 수 있다.

그러므로, 상기한 수식 5에서 I(x=k1, y=k2, n-1) 성분을 제외한 가중치를 이용하여 2차원 필터의 임펄스 응답(impulse response) 형태로 바꾸면, 다음의 수식과 같이 된다.

[수식 6]

[수식 7]

따라서, 이상으로부터 명백한 바와 같이, 전술한 수식 1은 내삽 필터식으로 2차원 필터 2개로 하기의 수식과 같이 표현할 수 있다.

[수식 8]

여기에서, 이동벡터 D(Z,n-τ)에 대해서는 조건부 2차원 필터이므로 미리 가능한 D(Z,n-τ)에 따라 h1(k1,k2)|D(Z,n-τ)), h2(k1,k2|D(Z,n-τ)), 즉 필터계수를 모두 산출하여 룩업 테이블 형태로 구성한 후 이동벡터 D(Z,n-τ)에 따라 기저장된 필터계수를 바꾸면서 적응적으로 필터링을 하면 된다.

즉, 시간축 내삽필터(30)에서는 필터링(또는 보간)하고자 하는 영역이 움직임 영역일 때 현재 프레임(또는 필드)을 위한 2차원 필터와 이전 프레임(또는 필드)을 2차원 필터 및 이동벡터들에 각각 대응하는 필터계수들이 저장된 룩업 테이블을 이용하여 목적으로 하는 내삽된 영상, 즉 현재 프레임(또는 필드)과 이전 프레임(또는 필드)간의 보간 프레임(또는 필드)을 보다 적은 연산시간으로 효과적으로 생성하게 된다.

이때, 본 발명에서는 상기 시간축 내삽필터를 2차원 필터로 전환할 때 바이-리니어 인터폴레이터(Bi-linear interpolater)를 이용하였다.

한편, 본 발명에 의해 구현되는 시간축 내삽필터는 스탠다드 컨버터 등에 응용할 수도 있다.

[발명의 효과]

이상 설명한 바와 같이 본 발명에 따른 시간축 내삽기에 의하면, 시간축 내삽필터를 2차원 필터 형태로 전환하여 메모리 억세스와 곱셈 및 덧셈의 수행 횟수를 줄임으로써 하드웨어 구현이 용이하고 실시간으로 시간축 내삽이 이루어지는 효과가 있다.

Claims (2)

1. 시간적으로 연속하는 현재 프레임과 이전 프레임간의 움직임 영역에서의 이동벡터를 추정하고, 이 추정된 이동벡터를 이용하여 목표로 하는 보간 프레임을 생성하는 시간축 내삽기에 있어서, 상기 현재 프레임의 각 픽셀들이 상기 이전 프레임의 대응 픽셀들에 비해 어느 방향으로 얼마나 움직였는지를 추정하는 이동벡터 추정부; 상기 현재 프레임의 각 픽셀과 상기 이전 프레임의 각 대응 픽셀을 각각 비교하여 움직임 영역을 판단하며, 그 판단결과에 상응하는 절환 제어신호를 발생하는 움직임 검출부; 상기 움직임 검출부로부터의 절환 제어신호에 의거하여 상기 이동벡터 추정부에서 제공되는 이동벡터 또는 제로 레벨의 출력을 선택하는 스위칭부 및 상기 현재 프레임 및 이전 프레임 데이터를 저장하기 위한 프레임 메모리, 상기 현재 프레임의 픽셀들과 이에 대응하는 상기 이전 프레임의 대응 픽셀들간의 이동벡터들에 각각 대응하는 필터계수들을 갖는 룩업 테이블, 상기 현재 프레임 및 이전 프레임을 위한 2개의 2차원 필터로 구성되어, 상기 현재 프레임과 이전 프레임, 상기 스위칭부를 통해 제공되는 현재 프레임과 이전 프레임간의 움직임 영역에서의 현재 픽셀 및 이에 대응하는 이전 픽셀간의 이동벡터 및 각 이동벡터에 각각 대응하는 기저장된 필터계수값들에 의거하는 2차원 필터링을 통한 시간축 보간을 통해 상기 목표 보간 프레임을 생성하는 시간축 내삽필터를 포함하고, 상기 시간축 내삽필터는, 다음의 수식에 의한 2차원 필터링을 통해 상기 목표 보간 프레임의 생성을 위한 보간 픽셀들을 생성하는 것을 특징으로 하는 시간축 내삽기.

   (여기서, I(Z,t-τ)는 생성하고자 하는 상기 목표 보간 프레임내의 픽셀 그리드 값이고, τ는 0<τ<1, D(Z,n-τ)는 n번째 프레임에서 (n-1)번째 프레임으로 구한 이동벡터 중 보간하고자 하는 (Z,n-τ) 위치를 통과하는 이동벡터이며, 0<k1,k2<∞이다.
2. 제1항에 있어서, 상기 시간축 내삽필터는 상기 D(Z,n-τ)에 따라 필터계수를 바꾸면서 적응적으로 필터링하는 것을 특징으로 하는 시간축 내삽기.