KR960008224B1 - 움직임 적응공간 필터링을 이용하는 시간축 대역제한 필터 - Google Patents

Abstract

내용 없음.

Description

움직임 적응공간 필터링을 이용하는 시간축 대역제한 필터

제1도는 본 발명에 따른 움직임 적응공간 필터링을 이용하는 시간축 저역통과 필터를 도시한 개략적인 블럭도.

제2도는 속도변화에 따른 원시스펙트럼의 변화를 도시하는 도면.

제3도는 저역통과 시간축 필터 및 공간축 필터링을 통한 대역제한을 도시하는 도면.

제4도는 움직임 벡터를 이용한 공간상에서의 2차원 시간축 대역제한을 도시한 도면.

제5도는 1차원과 2차원의 임펄스 응답을 비교한 도면.

제6도는 제1도의 움직임 적응공간 필터링부를 도시한 상세 블럭도.

* 도면의 주요부분에 대한 부호의 설명

10 : 픽셀 벡터 사전처리부 20 : 움직임 검출부

30 : AND 논리부 40 : 움직임 적응공간 필터링부

50 : 움직임 벡터 추정부

본 발명은 영상신호에 대한 시간축 필터에 관한 것으로, 특히, 움직임 적응 필터링을 이용함으로써, 에일리어싱 성분을 줄이면서도 효과적으로 대역제한이 가능하며 실시간 구현 및 집적회로 구현이 용이한 시간축 대역제한 필터에 관한 것이다.

시간축 필터는 일반적으로, 주어진 채널로 비디오 신호를 전송하기 위한 영상부호화 장치에 이용되고 있다. 즉, 시간축 필터는 시간축 잡음을 줄이며 그에 따라 화상부호화 속도를 개선한다. 지금까지의 연구들은 주로 잡음 제거 반복 필터링에 중점을 두었다. 따라서, 대부분의 부호화 응용에서는 시간축 대역 제한에 대한 고려 없이 공간대역 필터링이 이용되어 왔다.

비디오 신호는 수평, 수직 및 시간축 성분을 가진 3차원으로 생각될 수 있다. 이러한 비디오 신호가 움직임 성분을 포함하며, 이러한 움직임 성분이 등속, 강체 병진이동을 한다고 가정하면, 기저대역 스펙트럼의 위치로부터 공간-시간 대역폭이 예측될 수 있다. 이 경우, 시간축 대역폭은 움직임 성분의 속도에 비례한다. 따라서, 섬세한 화상이 소프트 화상보다 더 큰 비의 시간축 고주파를 발생한다. 또한, 속도가 증가함에 따라 반복된 스펙트럼 사이의 스펙트럼 에일리어싱이 존재함을 알 수 있다.

반복된 스펙트라가 에일리어싱을 포함하는 경우, 시각적으로 인조잡상이 발생된다. 특히, 공간 고주파 성분으로 구성된 움직임 영역에서는 실제 속도와 감지 속도가 다르기 때문에 시각적 효과에 상당한 손상을 주게 된다. 보다 상세하게 설명하면, 시간축상에서 필터링을 하는 경우, 전술한 바와 같이 공간 고주파 성분이 존재하는 경우, 시간축상에도 고주파가 존재하게 되며, 필터링이 이루어지고난 후에도 공간 고주파 성분이 이웃하는 스펙트라에 시간축상의 저주파의 성분으로 발생된다. 그 결과 표시장치에 영상이 표시되는 경우, 공간 고주파 성분과 저주파 성분 사이에서 시각장애를 일으킬 수 있다.

전술하는 이유로 인해 에일리어싱 성분에 의해 발생되는 이러한 바람직하지 못한 효과, 예를들면, 움직임 성분의 진동, 스트로크폭 변조 등은 감소되어야 한다. 이러한 바람직하지 못한 효과를 제거하기 위하여 공간 고주파 성분을 감쇄시키기 위한 공간축 필터링이 이용되었으나, 이러한 방법이 허용되더라도 일률적인 공간 필터링은 공간상의 영상정보를 심각하게 손상시킬 수 있다.

다른 한가지 방법으로는 샘플링 속도를 더 높이는 것으로, 샘플링 속도를 더 높이면, 시간축상의 단위간격내에서 움직임량, 즉 속도가 줄어들 수 있기 때문에 에일리어싱을 감쇄시킬 수 있을 것이다. 그러나, 일반적으로 샘플링 속도를 증대시키는 것은 업-다운(Up-Down) 샘플링 과정을 포함해야 하며 이는 구현상에 부가적인 부담을 가중시킨다. 따라서, 보다 간결하고 일반적인 접근방법이 요구된다.

따라서, 본 발명의 목적은 시간축 에일리어싱의 영향을 받지 않은 대역제한 시간축 필터를 제공하는데 있다.

본 발명의 다른 목적은 2차원 영상데이타를 신호의 주사방향으로 순차적으로 필터링할 수 있으며, 용이하게 고밀도 집적회로화가 가능한 대역제한 시간축 필터를 제공하는데 있다.

본 발명의 일 실시예에 따르면, 다수개의 픽셀로 이루어진 다수의 프레임이 일정한 시간 간격으로 순차적으로 입력되는 영상신호를 시간축 방향으로 대역제한하기 위한 시간축 대역제한 필터는 상기 프레임중 현재 프레임과 이전 프레임을 입력하여 움직임을 판단하는 움직임 검출수단과 ; 상기 현재 프레임의 하나의 픽셀에서 상기 픽셀의 단위 움직임 벡터를 결정하는 픽셀 벡터 사전처리수단과 ; 상기 움직임 검출수단으로부터의 검출신호에 응답하여 상기 단위 움직임벡터를 출력하는 AND 논리수단으로부터의 단위 움직임벡터를 입력하여, 콘벌루션하는 움직임 적응공간 필터링 수단을 포함한다.

이하 본 발명을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

제1도는 본 발명에 따른 움직임 적응 필터를 이용하는 시간축 대역제한 필터의 개략적인 블럭도로서, 시간축 대역제한 필터는 픽셀 벡터 사전처리부(10), 움직임 검출부(20), AND 논리부(30), 움직임 적응공간 필터링부(40) 및 움직임 추정부(50)를 포함한다.

픽셀데이타 사전처리부(10)는 픽셀 벡터를 입력하여 근사화된 단위 움직임 벡터를 발생하기 위한 것으로, 그의 출력은 AND 논리부(30)에 결합된다.

움직임 검출부(20)는 영상신호의 이전 프레임과 현재 프레임을 입력하여 움직임 영역이 존재하는가를 검출하기 위한 것으로, 그의 출력은 AND 논리부(30)의 타입력에 결합된다.

움직임 적응공간 필터링부(40)는 현재 프레임 데이타(f(x, n))와 AND 논리부(30)로부터의 단위 움직임 벡터(ID(x, n))를 입력하여 콘벌루션을 수행함으로써, 원하는 대역제한(g(x, n))을 수행한다.

픽셀 데이타 사전 처리부(10)에 픽셀 벡터를 제공하는 움직임 추정부(50)는 현재 및 이전 프레임 영상 신호를 입력하여 본 기술분야에 잘 알려진 형태의 움직임 추정 과정을 이용하여 개별 픽셀에 대한 움직임 벡터를 생성한다.

제2도는 움직임 성분의 속도변화에 따른 원시스펙트럼의 변화를 도시하는 것으로 비디오 신호는 수평, 수직 및 시간축 성분을 가진 3차원으로 생각될 수 있다. 연속적인 비디오 신호를 f₃(x,y,t)라 하고 움직임 성분이 단지 등속, 강체, 병진이동 V=(v_x,v_y)을 한다고 가정하면, 연속적인 비디오 신호 f₃(x,y,t)의 푸리에 변환은 다음의 식으로 표시될 수 있다.

F₃(f_x,f_y,f_t)=F₂(f_x,f_y)·δ(f_xv_x+f_yv_y+f_t) ………………… (1)

여기서, F₂(f_x,f_y)는 2차원 영상 f₂(x,y)의 푸리에 변환형이고, δ(f_xv_x+f_yv_y+f_t)는 식 f_xv_x+f_yv_y+f_t=0으로 표시되는 3차원 공간에서 기울어진 평면으로, 즉, 기저대역은 이 평면상에서만 존재한다. 기저대역 스펙트럼의 위치로부터 공간-시간 대역폭이 예측될 수 있다. 만일, 시간축 대역폭 f_w ^t이 주어진 경우, 식(1)로 부터 다음과 같이 표시될 수 있다.

f_w ^t=f_w ^x·v_x+f_w ^y·v_y………………………………… (2)

식(2)로부터 알 수 있는 바와 같이, 시간축 대역폭은 속도에 비례한다. 식(2)는 보다 큰 공간 고주파 또는 속도가 존재하는 경우, 보다 많은 결과의 시간축 고주파 성분이 존재한다는 것을 나타낸다. 따라서, 예리한 화상이 소프트한 화상보다 더 큰 비의 시간축 구조파를 발생함을 알 수 있다.

식(1)은 연속적인 표현이다. 필터링을 위해 사용된 픽셀이 3차원 샘플 데이타이기 때문에 비디오 신호 f(·)의 샘플링은 3차원 어레이의 델타함수 f₃(x,y,t)의 곱으로써 표시된다. 샘플된 신호의 스펙트럼은 그다음 푸리에 변환 f₃(·) 및 델타함수의 콘벌루션(Convolution)에 의해 주어진다. 따라서, 속도가 증가함에 따라 반복된 스펙트럼 사이의 스럭트럼 에일리어싱이 존재함을 알 수 있다. 제2도에 도시된 바와 같이 이러한 에일리어싱은 속도의 증가에 따라 발생된다. 여기서, 1픽셀/단위시간은 에일리어싱을 생성하지 않는 임계속도이다. 반복된 스펙트라가 에일리어싱을 포함하는 경우, 전술한 바와 같이 가시적인 인조잡상이 발생한다. 특히 공간 고주파 성분을 이루는 움직임 영역은 실제 속도와 움직임 영역에서의 감지 속도가 다르기 때문에 심적시각효과에 왜곡을 일으킬 수 있다.

제3도는 본 발명의 일실시예로서 움직임이 1픽셀/프레임 간격 이상이 되는 영상신호를 저역통과하는데 있어서, 시간축 방향의 픽셀을 이용하는 경우(제3도의 (a))와 움직임 벡터를 이용한 공간상에서의 시간축 저역통과에 의한 경우(제 3도(b))를 도시한다. 시간축 필터링 절차를 유도하기 위하여, 본 기술분야에 잘 알려진 두개의 가정을 한다 : 먼저 기저대역 스펙트럼은 공간 에일리어싱 성분을 갖지 않는다 ; 둘째로, 간략화를 위해 순전히 수평 움직임 성분만이 존재한다.

제3도(a)에 도시된 바와 같이 시간축 영역 샘플을 근거로 필터된 결과는 시간축 에일리어싱인 인접 스펙트라의 고주파 성분을 포함한다. 전술한 바와 같이, 공간 고주파들이 존재하는 경우, 시간축상에 고주파가 존재하게 된다. 제3도에 도시된 바와같이, 공간 고주파 성분이 이웃하는 스펙트라에 시간축상의 저주파 성분으로 발생된다.

제3도(b)를 참조하면, 기저대역 스펙트럼의 위치 및 속도간의 관계를 이용하여, 시간축상의 대역 제한이 공간필터링에 의해 이루어질 수 있다. 즉, 시간축에 대응하는 그의 차단 주파수로서 공간축 저역통과 필터링을 함으로써 시간축 대역제한과 동일한 효과가 제공될 수 있다. 따라서, 식(1) 및 (2)에 의해 공간 및 시간축 주파수간의 관계는 다음의 식과 같이 주어진다.

여기서, t_v는 f_x-f_y평면상에 표시된다. 제3도(a)의 시간축상의 픽셀을 이용하는 시간축 대역제한과 비교하면, 공간대역 제한은 시간축상의 에일리어싱 성분에 의해 영향을 받지 않는다. 에일리어싱을 포함하지 않는 대역제한의 결과는 제3도(b)에 도시된다. 전술하는 설명은 1차원의 경우를 나타낸 것으로, 이것은 단지 수평 속도만을 가진다고 가정한 것이다.

제4도는 2차원 속도벡터에 근거하여 2차원 시간축 저역통과를 도시한 도면으로, 속도를 2차원으로 확장하면, 움직임 영역의 속도항내에 공간 필터링은 움직임궤적을 따라 필터링을 하는 것과 동일하다. 그러한 결과가 이동적응 공간 필터링이다.

움직임 영역의 속도를 이용하는 공간 필터링에 근거하여, 움직임 적응공간 필터링이 구현된다. h(·)이 저역통과 임펄스 응답이라면, 비디오 신호 f(·)의 시간축으로의 대역제한은 다음과 같이 주어진다.

여기서, 선형위상 필터가 응답의 그룹지연을 고려하여 이용된다. 움직임 성분의 전술한 가정으로부터,

f(x,t-τ)=f(x-v_xτ,t)……………………………………………… (5)

따라서, 식(4)는 다음과 같이 표시된다.

식(6)의 푸리에 변환은 다음과 같이 표시된다.

여기서, F는 푸리에 변환식을 나타낸다.

H(·)인 저역통과 임펄스 응답은 초기에 시간축 대역제한 특성을 갖는다. 그러나, H(·)는 필터링 영역의 변환에 따라 변한다. 공간영역에서 필터링 동작이 속도에 따라 변하기 때문에 H(·)는 그의 차단주파수가 속도에 의해 적응되는 공간축 저역통과 필터링을 수행한다. 따라서, 식(6)을 직접 구현함으로써 공간 움직임 적응 필터링을 실현할 수 있음을 알 수 있을 것이다.

식(6)은 움직임 적응 필터링을 위한 연속적인 식을 나타낸다. 이것은 이산 신호인 경우에도 동일한 결과를 가져온다. 이 경우, 전술한 식에서 적분은 합으로 대체할 수 있다. dτ는 △τ 및 k의 조합으로 대체될 수 있음을 알 수 있을 것이다.

따라서, 식(6)은 다음과 같이 주어진다.

여기서, 속도 및 필터링 위치는 벡터 형태로 대체된다. 필터길이는 2N-1로 △τ는 ｜V(·)·△τ｜≤｜△X｜를 만족하도록 선택된다. 단일 △τ가 요구된 값과 다르다면 이것은 공간축상의 에일리어싱을 일으킬 수 있다.

△T가 프레임과 프레임의 간격이라면, V(·)·△T는 그다음 현재 및 이전 프레임간의 움직임량인 ID(·)와 같다. 따라서, V(·)·△τ는 단위백터 ID(·)의 ID(·)로 대체될 수 있다. 즉, 식(8)은 다음과 같이 표시될 수 있다.

여기서, △τ는 1로 정규화 된다. h(·)는 식(2) 및 (3)에 의해 결정된다. 식(9)는 식(6)을 직접 구현한 것이다. 그러나, ID(·)로 인해, 비록 그것이 1이라 할지라도 필터링을 위한 실제 데이타는 비그리드 픽셀이 될 수 있다. 계산 및 효율을 고려하여 양방향 선형필터가 사용된다.

제5도는 1차원과 2차원 임펄스 응답을 비교한 것으로, 1차원 필터 임펄스 응답으로부터 2차원으로의 변환은 다음과 같이 이루어진다. ID(x,n)이 모든 위치 X에 걸쳐 일정하다고 가정하면, 임펄스 응답 h(·)이 한정되어 각 위치 및 가중계수에 대한 한세트의 입력데이타는 사전에 예측될 수 있다. 제5도(a)에 도시된 바와 같이 2차 선형보간에 의해 비그리드 위치에 할당된 필터계수(h(k))는 이웃그리드(P,Q)로 분할된다. 제 5도(b)에 도시된 바와같이 2차원 응답의 계수는 그 다음 움직임 궤적내의 것을 제외하고 0이다. 실제영상 수순의 경우에는, 이러한 동작은 다음과 같이 해결될 수 있다. 변위의 범위는 무한임을 알 수 있을 것이다. 예를들면, 평가된 변위의 범위가 ±6(픽셀/프레임 간격)이고, 변위는 정확도가 정수단위라면, 2차원 임펄스 응답의 필요한 수는 169이다. 필터구현을 위해, 이러한 169개의 임펄스 응답은 룩업테이블(LUT)에 위치될 수 있다. 즉, 필터링 위치 및 변위가 주어진 경우, 식(9)의 콘벌루신은 룩업테이블에 사전설정되는 2차원 필터 형태를 스위칭 함으로써 간단하게 계산되며, 다음의 식과 같이 표시될 수 있다.

전형적으로, 2차원 필터는 시스톨릭 실현을 위한 적절한 구조임을 알 수 있을 것이다.

시스톨릭 어레이의 이용을 위해, 제6도(a)의 1차 구현이 이용된다. 즉, 1차 시스톨릭 구조에 근거하여, 본 발명의 필터는 제6도에 도시된 바와같이 다수개의 1차원 횡단 필터(71), 래치(72) 및 가산기(73)으로 구현될 수 있다. 즉, 움직임 적응 필터링은 움직임 궤적에 따른 1차원 콘벌루션으로 생각될 수 있다.

전술한 바와 같이 이동이 한정된다면, 그것은 횡단(transversal) 필터 구조에 의해 간단하게 구현될 수 있다. 제6도(b)는 전술하는 필터링부의 시스톨릭 어레이를 도시한 도면으로, 횡단 필터 구성을 위한 시스톨릭(systolic) 어레이는 고밀도 집적회로 설계를 위해 본 기술분야에 잘 알려진 구조이다. 어레이에는 래치(41), 곱셈기(42) 및 가산기(43)만이 사용된다. 룩업테이블(44)에는 전술한 설명에 의해 결정되는 필터계수가 기억된다. 상호결합된 출력은 연속적으로 생성되는데 그 이유는 인접출력이 반복적으로 중첩되기 때문이다. 그러나, 움직임 적응 필터링 즉, 공간변이 공간 필터는 각 필터의 위치에서 다른 세트의 입력 데이타를 가진다. 그리고 속도에 따라서 다른 필터 계수를 가지며, 이것은 움직임 벡터에 의해 룩업 테이블로부터 쉽게 억세스될 수 있다.

본 발명의 시간축 저역통과 필터는 데이타 패치의 양을 줄이기 위해 입력데이타를 중첩시킴으로써 데이타 패치의 수를 줄인다. 그 결과, 본 발명의 필터는 모듈러 구조로서 구현된다.

제6도(c)에서 수평 및 수직 방향으로 지연을 두어 계산소자간의 시간적 독립성을 줌으로써 제 6도(b)의 시스톨릭 어레이 확장을 진행할 수 있다. 확장된 어레이는 3개의 래치(51), (52) 및 (56)와 가산기 (53), 곱셈기 (54)를 포함한다. 또한 룩업테이욜(55)에 필터 계수가 포함되며, 변위량에 의해 제어된다. 이러한 구현계획은 행으로 주사되는 2차원 입력데이타를 처리할 수 있음을 알 수 있을 것이다.

제6도(c)로부터 본 발명의 필터의 처리속도가 다음과 같이 예측될 수 있다. 시스톨릭 어레이의 속도는 각각의 계산소자의 억세스 시간에 의존한다. 계산소자(processing element)의 억세스 시간은 다음과 같다.

T_LUT+T_MUL+T_ADD………………………(11)

여기서, T_LUT+T_MUL+T_ADD는 각기 룩업 테이블, 곱셈기 및 가산기의 억세스 시간을 나타낸다. 전술한 식은 필터윈도우 사이즈가 계산속도에 영향을 받지 않음을 나타내며, 고정된 속도계산을 갖는다. 초기계산에 있어 그룹지연만이 발생함을 알 수 있을 것이다.

따라서, 본 발명의 움직임 적응 공간 필터링을 이용하는 시간축 저역통과 필터는 전술한 바와같이 영상부 호화기의 전처리 필터로 사용되는 경우, 시간축상의 픽셀간의 유사성을 증대(화소간의 변화율 감소)시켜 영상부호화시의 압축효과를 높일 수 있다.

또한, 일반적으로 디스플레이 되는 영상의 시각장애를 유발시키는 스팩트럼상에서의 에일리어싱 성분만을 제거함으로써, 종래의 시간축 대역 제한에서 종종 발생하던 블러링에 의한 화질의 열화없이도 대역 제한을 수행할 수 있다.

본 발명의 필터는 시스톨릭 어레이를 이용함으로써 2차원 영상데이타를 효율적으로 신호의 주사방향으로 순차적으로 필터링할 수 있으며, 용이하게 고밀도 집적회로화 할 수 있는 등의 커다란 효과가 있다.

비록 본 발명이, 일실시예로서 도시되고 설명되었으나, 본 기술분야의 숙련자면, 다양한 변경 및 변형, 예를들면, 시간축 에일리어싱의 영향을 받지 않으며, 여러 형태의 대역 제한으로서, 고역통과, 대역통과, 대역저지 등의 필터로 이용될 수 있음을 알 수 있을 것이다.

Claims (5)

1. 다수개의 픽셀로 이루어진 다수의 프레임이 일정한 시간간격으로 순차적으로 입력되는 영상신호를 시간축 방향으로 대역제한하기 위한 것으로, 상기 프레임중 현재 프레임과 이전 프레임을 입력하여 움직임을 판단하는 움직임 검출수단(20)과 ; 상기 현재 프레임의 하나의 픽셀에서 상기 픽셀의 단위 움직임 벡터를 결정하는 픽셀 벡터 사전처리수단(10)과 ; 상기 움직임 검출수단(20)으로부터의 검출신호에 응답하여 상기 단위움직임 벡터를 출력하는 AND 논리수단(10)과 ; 상기 현재 프레임과 상기 AND 논리수단(10)으로부터의 단위 움직임 벡터를 입력하여, 콘벌루션하는 움직임 적응공간 필터링 수단(40)을 포함하는 시간축 대역제한필터.
2. 제1항에 있어서, 상기 필터의 시간축 차단 주파수가, 프레임 주파수의 1/2인 시간축 대역제한필터.
3. 제2항에 있어서, 상기 움직임 적응 공간 필터링수단(40)이 상기 현재 프레임의 영상신호에 의해 다음의 식

   에 의해 필터링되며, 여기서, g(x,n)은 대역제한된 영상신호, k, n, N은 0이 아닌 정수이며, ID(x,n)은 현재와 이전 프레임간의 변위인 시간축 대역제한필터.
4. 제3항에 있어서, 상기 대역제한된 신호가 영상을 압축 부호화하는 영상부호기의 입력신호로 제공되는 시간축 대역제한필터.
5. 제2항에 있어서, 상기 필터의 차단 주파수를 조절함으로써 시간축 잡음을 제거할 수 있는 시간축 대역제한필터.