KR100209793B1 - 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 - Google Patents

Abstract

비디오신호를 부호화하기 위한 장치는 양방향 예측 부호화된 프레임의 부호화에 있어서 특징점 기반 움직임 보상회로를 이용하여 이전 프레임과 현재 프레임간의 움직임 벡터를 추정한다. 비디오 신호 부호장치는 특히, 양방향 예측 프레임을 부호화하기 위하여, 양방향 예측 부호화된 프레임의 이전 및 다음 프레임을 입력하여 그들간의 편차에 근거하여 움직임영역을 검출하는 회로와; 검출된 움직임 영역에 대해여 특징점을 선택하는 특징점 선택회로와; 선택된 특징점에 대한 움직임 벡터를 검출하면서, 그의 기준 프레임으로 각기 이전 프레임 및 다음 프레임을 이용하여 전방 특징점 움직임 벡터 및 후방 특징점 움직임 벡터를 검출하는 회로와; 전술하는 전방 및 후방 움직임 벡터를 이용하여 양방향 예측 부호화 프레임을 예측하여 현재 입력되는 양방향 부호화 예측 프레임과 가장 유사한 예측 프레임을 생성하는 움직임 벡터를 양방향 예측 프레임의 움직임 벡터로 선택하여, 움직임 벡터 및 움직임 벡터 선택 정보만을 양방향 예측 부호화 프레임으로 발생하는 회로를 포함한다.

Description

특징점 기반 움직임 추정을 이용한 비디오 신호 부호화 및 복호화 장치

제1도는 본 발명에 따른 특징점 기반 움직임 추정 부호화기(feature point based motion estimation circuit)를 갖는 비디오 신호 부호화 장치의 블럭도.

제2도는 디지틀 영상 프레임 순차를 설명하기 위한 설명도.

제3도는 제1도에 도시된 움직임 보상-이산 코사인 변환 부호화기의 상세블럭도.

제4도는 제1도에 도시된 움직임 추정(ME) 부호화기의 상세블럭도.

제5도는 본 발명에 따라 움직임 영역에서의 특징점 선택 동작을 설명하기 위한 설명도.

제6도는 본 발명에 따른 특징점 추정 동작을 설명하기 위한 설명도.

제7도는 본 발명에 따라 일반화소에 대한 역방향 움직임 벡터 추정을 설명하기 위한 설명도.

제8도는 제1도의 비디오 신호 부호화 장치와 함께 이용 가능한 비디오 신호 복호화 장치의 개략적인 블럭도.

제9도는 제8도에 도시된 움직임 보상 이산 코사인 변환(MC-DCT) 복호화기의 상세블럭도.

제10도는 제8도에 도시된 움직임 추정(ME) 복호화기의 상세블럭도.

본 발명은 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치에 관한 것으로, 특히 양방향 움직임 추정이 적용되는 프레임에서 움직이 있는 영역에서만 특징점 기반 움직임 추정 기법을 이용하여 움직임 추정을 수행함으로써 보다 향상된 부호화 효율을 얻을 수 있는 비디오 신호 부호화 및 복호화 장치에 관한 것이다.

본 기술분야에서 잘 알려진 바와같이, 이산된 화상신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 영상 프레임으로 구성된 영상신호가 디지탈 형태로 표현될 때, 특히 고화질 테레비젼의 경우 상당한 양의 데이타가 전송되어야 한다. 그러나 종래의 전송 채널의 사용가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지탈 데이타를 전송하기 위해서는 전송되는 데이타를 다양한 압축 기법을 이용하여 압축하여 그 양을 줄일 필요가 있다. 이러한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축 기법을 결합한 하이브리드 부호화 기법이 가정 효율적인 것으로 알려져 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT계수의 양자화, VLC(가변길이부호화)등을 이용한다. 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이 방법은 예를들어 Staffan Ericsson의 Fixed and Adaptive Prdictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, No.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.

이차원 DCT는 영상 데이타간의 공간적 중복성을 이용하거나 제거하는 것으로서, 디지탈 이미지 데이타 블럭, 예를들면 8X8 블럭을 DCT 변환계수로 변환한다. 이 기법은 Chen과 Pratt의 Scene Adaptive Coder, IEEE Transactions on Communication, COM-32, NO.3 (1984년, 3월)에 개시되어 있다. 이러한 DCT 변환 계수는 양자화기, 지그재그 주사, VLC 등을 통해 처리됨으로써 전송할 데이타의 양을 효과적으로 감축할 수 있다. 상술하면, 움직임 보상 DPCM에서는 현재 프레임과 이전 프레임간의 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.

객체의 변위를 추정하는 데에는 여러가지 접근 방법이 있다. 이들은 일반적으로 두개의 타입으로 분류되는데 하나는 블럭단위 움직임 추정 방법이고 또 하나는 화소단위 움직임 추정이다.

블럭단위 움직임 추정에서는, 현재 프레임의 블럭을 이전 프레임의 블럭들과 비교하여 최적 정합 블럭을 결정한다. 이로부터, 전송되는 현재 프레임에 대해 블럭 전체에 대한 프레임간 변위 벡터(프레임간에 블럭이 이동한 정도)가 추정된다.

그와같은, 블럭 정합 기법은 비디오 프레임 열에 포함되는 I 및 B프레임을 부호화하는 데 이용되며, ITU Telecommunications standard Sector Study Group 15, Working Party 15/1 Expert's Group on Very Low Bit Rate Visual Telephoy, Video Coder Test Model, TMN4 Revel, (October 25, 1994)에 개시되어 있다. 이 논문에서 P 또는 예측 프레임은 하나의 이전 프레임인 기준 프레임으로부터 예측되는 반면, B 또는 양방향 예측 프레임은 기준 프레임으로서, 이전 프레임 및 다음 프레임 모두를 이용하여 예측된다. 소위 B프레임을 부호화함에 있어서, 전방 및 후방 움직임 벡터를 얻기 위해, 양방향 움직임 추정 방법이 이용된다. 이 경우, 전방 움직임 벡터는 B프레임과 그의 이전 프레임(I 또는 P)간의 객체의 움직임을 추정함으로써 얻어지며, 후방 움직임 벡터는 B프레임과 그의 다음 프레임(I 또는 P)을 이용하여 얻어진다.

그러나, 블럭단위 움직임 추정에서는 움직임 보상 과정에서 블럭 경계에 블럭킹효과(blocking effect)가 발생할 수 있고, 블럭내의 모든 화소가 한 방향으로 이동하지 않는 경우에는 추정값이 올바르지 않아서 그 결과 부호화효울이 감소한다.

한편, 화소단위 방법을 이용하면 변위는 각각의 화소 전부에 대해 구하여진다. 이러한 방법은 화소값을 더 정확히 추정할 수 있고 스케일 변화(예를들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다. 그러나 화소단위 방법에서는, 움직임 벡터가 모두 화소 각각에 대해 결정되기 때문에, 실질적으로 모든 움직임 벡터를 수신기로 전송하는 것은 불가능하다.

픽셀 단위 움직임 추정 방법에서 발생되는 이러한 전송상의 문제를 해결하기 위한 하나의 기법이 특징점 기반 움직임 추정 방법이다.

특징점 기반 움직임 추정 방법에서는, 선택된 한 세트(set)의 화소(즉, 특징점)에 대한 움직임 벡터를 수신측에 전송하는데, 이때 특징점은 인접 화소들을 대표할 수 있는 화소들로서 수신기에서 비특징점에 대한 움직임 벡터는 특징점에 대한 움직임 벡터로부터 복원될 수 있다. 본 발명과 동일한 출원인에 의해 1995년 3월 18일 출원되어 계류중인 한국특허 출원 제 95-5715호 특징점 기반 움직임추정을 이용한 비디오 신호 부호화 방법 및 장치(Method and Apparatus for Encoding a Video Signal Using Feature Point Based Motion Estimation)에 개시된, 특징점을 이용한 움직임 추정을 채용한 부호화기에서는 우선 그리드 기법 및/또는 모서리 검출 기법을 이용하여, 이전 프레임에 포함된 모든 화소로부터 특징점이 선택된다. 그리고 난후, 각 선택된 특징점에 대한 움직임 벡터가 결정되는데, 이때 각 움직임 벡터는 이전 프레임의 하나의 특징점과 현재 프레임의 해당 정합점간의 변위이다. 상술하면, 각각의 특징점에 대한 정합점을 현재 프레임의 탐색영역에서 찾는데, 이때 탐색영역은 해당 탐색점의 위치를 포함하는 기설정된 넓이의 영역으로 정의된다.

비록, 전술하는 특징점 기반 움직임 추정 기법을 이용하여 전송될 데이타의 양을 줄일 수 있으나, 이러한 방법에서, 그리드 기법 및/또는 모서리 검출 기법을 이용하는 경우, 움직임 객체뿐만 아니라 움직임이 없는 고정 객체에 대해서도 특징점이 선정되기 때문에 여전히 많은 양의 특징점이 선택되며, 이러한 많은 양의 특징점으로 인해 전술하는 방법을 수행하기 위한 보다 복잡한 회로가 필요하게 되고, 움직임 벡터를 추정하기 위해 여전히 높은 정도의 계산상의 부담을 가지게 된다. 더우기, 예를들면, 64kb/s 전송 채널폭을 가진 저 비트율의 코덱(codec) 시스템을 성공적으로 구현하기 위해 전송될 데이타의 양을 보다 줄일 필요가 있다.

따라서, 본 발명의 주 목적은 B프레임을 예측하는 경우, 움직임이 존재하는 영역에서만 특징점을 기반으로하는 움직임 추정 기법을 이용함으로써 보다 향상된 부호화 효율을 갖는 비디오 신호 부호화 및 복호화 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 시간, 공간적으로 연속하는 프레임열로 구성된 영상신호를 부호화하기 위한 영상 부호화 장치에 있어서, 상기 프레임열내의 인트라 프레임, 예측 프레임 및 양방향 예측 프레임들로 부호화될 프레임을 부호화 순서에 따른 순서로 재배열하기 위한 프레임 재배열 회로; 상기 재배열된 프레임중 인트라 프레임으로 부호화될 프레임을 제1현재 프레임으로 입력하여, 공간상의 중복성을 제거함으로써 부호화된 인트라 프레임을 발생하는 제1부호화 회로; 상기 재배열된 프레임 중 예측 프레임으로 부호화될 프레임을 제2현재 프레임으로 입력하고, 상기 제2현재 프레임으로 복호화될 이전 프레임을 이용하여 제1움직임 벡터를 검출하며, 검출된 움직임 벡터를 이용하여 얻어진 예측 프레임과 상기 제2현재 프레임간의 편차를 나타내는 에러신호를 공간상의 중복성을 제거하여 부호화함으로써, 상기 제1움직임 벡터와 부호화된 에러신호를 발생하는 제2부호화 회로; 상기 재배열된 프레임 중 양방향 예측 프레임으로 부호화될 프레임을 제3현재 프레임으로 입력하고, 상기 제3현재 프레임으로부터 복호화된 이전 프레임과 그의 다음 프레임을 이용하여 움직임이 있는 영역을 검출하고, 검출된 움직임 영역에서만 특징점을 설정하며, 설정된 특징점에 대해 이전 프레임을 이용한 전방 움직임 벡터와 다음 프레임을 이용한 후방 움직임 벡터를 추정하고, 추정된 전방 및 후방 움직임 벡터중에서 보다 나은 예측 프레임을 생성하는 움직임 벡터를 제2움직 벡터로서 발생하며, 선택된 움직임 벡터의 방향을 나타내는 움직임 방향 정보를 발생하는 제3부호화 회로; 및 상기 제1부호화 회로로부터의 부호화된 인트라 프레임, 제2부호화 회로로부터의 제1움직임 벡터 및 부호화된 에러신호, 제3부호화 회로로부터의 제2움직임 벡터를 순차적으로 입력하여 정보량(entropy) 부호화를 수행함으로써 부호화된 영상신호를 발생하는 통계적 부호화 회로를 포함하는 것을 특징으로 하는 비디오 신호 부호화 장치를 제공한다.

상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 정보량(entropy) 부호화된 인트라 프레임, 부호화된 제1움직임 벡터와 부호화된 에러신호를 가진 정보량 부호화된 예측 프레임과, 부호화된 제2움직임 벡터와 움직임 벡터 방향 정보를 가진 정보량 부호화된 양방향 예측 프레임을 포함하는 부호화된 영상신호를 복호화하기 위한 장치에 있어서, 상기 정보량 부호화된 인트라 프레임, 정보량 부호화된 예측 프레임 및 정보량 부호화된 양방향 예측 프레임을 정보량 부호화전의 원신호로 복호화하기 위한 통계적 복호화기; 상기 정보량 복호화된 인트라 프레임을 공간적 중복성을 부가함으로써, 재생된 인트라 프레임 신호를 발생하는 제1복호화 회로; 상기 정보량 복호화된 제1움직임 벡터와 에러신호를 입력하고, 상기 제1움직임 벡터를 이용하여 제1예측 현재 프레임을 생성하며, 상기 생성된 제1예측 현재 프레임과 상기 에러신호를 결합하여, 재생된 예측신호를 발생하는 제2복호화 회로; 상기 양방향 프레임의 이전 프레임과 그의 다음 프레임의 편차를 이용하여 움직임이 있는 영역을 검출하는 움직임 영역 정보를 발생하는 움직임 영역 검출부; 상기 검출된 움직임 영역에서 특징점을 선택하고, 선택된 특징점의 정보를 발생하는 특징점 선택 회로; 상기 선택된 특징점 정보, 상기 움직임 영역 정보 및 상기 제2움직임 벡터를 입력하고, 상기 이전 프레임 및 상기 다음 프레임중 상기 움직임 벡터의 방향 방향 정보에 의해 선택된 기준 프레임을 입력하여, 재생된 예측 프레임을 발생하는 제3복호화 회로; 및 상기 재생된 인트라 프레임, 재생된 예측 프레임, 재생된 양방향 예측 프레임을 입력하여, 원래의 프레임열에 따른 프레임의 순서로 재배열하여 출력하는 프레임 재배열 회로를 포함하는 것을 특징으로 하는 비디오 신호 복호화 장치를 제공한다.

이하, 본 발명의 바람직한 실시예에 대하여 첨부된 도면을 참조하여 상세히 설명한다.

제1도는 본 발명에 따른 특징점 기반 움직임 추정 부호화기를 갖는 영상신호 부호화 장치의 블럭도로써, 프레임 재배열 회로(10), 움직임 보상-이산 코사인 변환(MC-DCT) 부호화기(20), 움직임 추정(ME) 부호화기(30), 통계적 부호화 회로(entropy corder)(40)를 포함하며, 또한 프레임 재배열 회로(10)는 두개의 스위치(SW1,SW) 및 제1 내지 제3프레임 메모리(12,14,16)를 구비한다.

제1도를 참조하면, 입력 디지탈 비디오 신호는, 일예로서 제2도에 도시된 바와같이, 다수의 기본 프레임(또는 픽쳐)열을 포함한다. 즉, 하나의 프레임 열에는 부호화된 후 1개의 인트라 프레임(Intra coded frame), I1, n개의 양방향 예측 프레임들(bidirectionally coded frames), B1, B2, . . . , Bn, 그리고 n-1개의 예측 프레임들(predictive coded frames), P1, P2, . . . , Pn-1가 구비되며, 이러한 다수의 기본 프레임열은 순차적으로 프레임 재배열 회로(10)로 인가된다.

먼저, 프레임 재배열 회로(10)는, 제1, 제2 및 제3프레임 메모리(12,14,16)를 가지며, B 프레임들에 대한 양방향으로의 움직임 추정을 위해 전술하는 프레임 순차열에 따라 스위치(SW1)를 통해 제1 내지 제3프레임 메모리(12,14,16)에 프레임들을 저장한다. 또한, 프레임 재배열 회로(10)는 스위치(SW2)를 통해 예를들어, I1, P1, B1, P2, B2, P3, B3, . . . 의 재배열된 디지탈 비디오 프레임 순차열을 발생한다. 즉, 스위치(SW1)의 동작에 의해 제1프레임 메모리(12)에는 프레임 I(t-1)가 기억되고, 제2프레임 메모리(14)에는 프레임 I(t+1)가 기억되며, 제3프레임 메모리(16)에는 I(t)가 기억된다.

따라서, 3개의 프레임 메모리(12,14,16)에 프레임 신호가 기억된 경우, 프레임 신호 I(t-1)는 먼저, 스위치(SW2)를 통해 움직임 보상-이산 코사인 변환(MC-DCT) 부호화기(20)에 공급된다. 여기서, 프레임(I(t-1))이 인트라 프레임 부호화될 경우, 움직임 벡터를 이용한 예측 신호없이 단순히 공간상의 중복성만을 제거하기 위해 잘 알려진 이산 코사인 변환 및 양자화를 이용하여 부호화된다. 그런 다음, 부호화된 프레임 I(t-1)는 스위치(SW3)를 통해 통계적 부호화 회로(40)에 공급됨과 동시에 복호화된 다음 이전(기준) 프레임으로 MC-DCT 부호화기(20)내에 저장된다. 메모리에 저장된 프레임 I(t-1)는 연속하는 예측 프레임 및 양방향 예측 프레임의 움직임 추정에 이용된다.

다음에, 프레임 I(t-1)는 제2프레임 메모리(14)로부터 판독되어, 스위치(SW2)를 통해 MC-DCT 부호화기(20)에 공급된다. 여기서, 프레임 I(t-1)는 기준 프레임으로 프레임 I'(t-1)를 이용하여 MC-DCT 부호화되어 스위치(SW3)를 통해 통계적 부호화 회로(40)에 제공된다. 또한, MC-DCT 부호화된 프레임 I'(t-1)는 다시 복원되어 MC-DCT 부호화기(20)내에 저장된다. 복호화되어 저장된 프레임 I'(t-1)는 이전에 저장된 프레임 I'(t-1)와 함께 기준 프레임으로써, 프레임 I(t)의 움직임 추정에 이용되도록 ME 부호화기(30)에 공급된다.

그 다음, 프레임 I(t)는 제3프레임 메모리(16)로부터 판독되어 ME 부호화기(30)에 제공된다. 여기서, 먼저 복원된 프레임 I'(t-1), 즉, 제1기준 프레임과 복원된 프레임 I'(t-1), 즉, 제2기준 프레임을 이용하여, 움직임 영역이 검출된다. 이어서, 검출된 움직임 영역을 이용하여, 프레임 I(t)의 전방 움직임 벡터와 후방 움직임 벡터가 결정되며, 결정된 전방 움직임 벡터와 후방 움직임 벡터중 보다 나은 예측 프레임 I'(t)를 생성하는 벡터가 움직임 벡터로서 스위치(SW3)를 통해 통계적 부호화 회로(40)에 제공된다. 이후에 상세하게 설명되는 바와같이, ME부호화기(30)에서는 단지, 검출된 움직임 영역에서 결정된 움직임 벡터만이 출력된다.

한편, 제1스위치(SW1) 및 제2스위치(SW2)는 전술하는 프레임 순차열에 따라, 통상적인 시스템 제어기, 예를들면, 마이크로 프로세서(도시안됨)로부터의 제어신호(SC1 및 CS2)에 의해 그 접점이 절환된다.

제2도를 참조하면, 전술한 제1프레임 순차들을 보여주는 전형적인 도면이 도시된다. 도시된 바와같이, 예측 프레임(P1)일 때, 예측 프레임(P1)을 구성하는데 이용되는 한 세트의 움직임 벡터(SMV1)는 기준 프레임으로써 재생된 인트라 프레임(I1)을 이용하여, MC-DCT 방법을 이용하여 얻어진다. 유사한 방법으로, 예측 프레임들(P2 및 P3)에 대한 움직임 벡터들의 세트들(SMV2 및 SMV3)은 예측 프레임들(P1 및 P2)을 기준 프레임으로 이용함으로써 얻어진다.

현재 프레임이 양방향 예측 프레임(B1)일 때, MC-DCT 부호화기(20)로부터의 제1기준 프레임(I)과 제2기준 프레임 P(1)을 이용하여 얻어진 움직임 영역에서, 전반 움직임 벡터들의 세트(FMV1)는 재생된 인트라 프레임(I1)(제1기준 프레임 I'(t-1)과 현재 프레임 I(t)을 이용하여 얻어지며, 후방 움직임 벡터들(BMV1)은 재생된 예측 프레임 P1(제2기준 프레임 I'(t+1)과 현재 프레임 I(t)를 이용하여 얻어진다. 비디오 신호 부호화 장치는 전방 움직임 벡터들(FMV1)의 세트와 후방 움직임 벡터들(BMV1)의 세트 중에서 보다 나은 양방향 예측 프레임을 생성하는 움직임 벡터들을 B1프레임의 움직임 벡터로서 전송한다.

제3도를 참조하면, MC-DCT 부호화기(20)는 영상신호 부호기(105), 영상신호 복호기(113), 현재 프레임 예측기(150), 제1이전 프레임 메모리(124), 제2이전 프레임 메모리(125), 가산기(102) 및 감산기(115)와, 인트라 프레임 부호화 모드와 인터 프레임 부호화 모드를 선택적으로 수행하기 위해 사용된 제4스위치(SW4)와 제5스위치(SW5)를 포함하며, 제4스위치(SW4)와 제5스위치(SW5)는 시스템 제어기로부터의 프레임 모드 제어신호(SC4)에 의해 동시에 작동된다.

인트라 프레임 부호화 모드에 있어서, 예를들어, 프레임 I(t-1)는 현재 프레임 신호로서 영상신호 부호기(105)에 입력되며, 상기에서 현재 프레임 신호 I(t-1)는, 예를들어 이산 코사인 변환(discrete cosine transform : DCT)과 잘 알려진 양자화 방법을 이용함으로써 양자화된 변환계수들의 세트로 부호화된다. 그 후, 양자화된 변환계수들은 스위치(SW3)를 통해 통계적 부호화 회로(40)에 제공되며, 또한 영상신호 복호기(113)로 전송된다. 통계적 부호화 회로(40)에서는 영상신호 부호기(105)로부터의 양자화된 변환계수들을, 예를들어 가변 길이 부호화 기법을 이용함으로써 부호화하며, 여기에서 부호화된 영상신호는 전송을 위해 전송기(도시안됨)로 전달된다.

한편, 영상신호 복호기(113)는 영상신호 부호기(105)로부터의 양자화된 변환 계수들을 역양자화와 역이산 코사인 변환을 이용하여 다시 복원된 인트라 프레임 신호(I1': I'(f-1))로 변환한다. 그 다음, 영상신호 복호기(113)에 의해 복원된 인트라 프레임 신호는 이전 프레임으로서 제1이전 프레임 메모리(124)에 저장된다.

인터 프레임 부호화 모드에 있어서, 현재 프레임 신호는 감산기(102)와 현재 프레임 예측기(150)로 각각 인가되며, 현재 프레임 예측기(150)는 블럭 움직임 보상 기법을 이용한다. 예측된 현재 프레임 신호는 두 스위치(SW4 및 SW5)를 통해 감산기(102)와 가산기(115)에 각각 제공되고, 블럭 움직임 보상 기법을 이용하여 얻어진 한 세트의 움직임 벡터는 스위치(SW3)를 통해 통계적 부호화 회로(40)에 제공된다.

감산기(102)에서는 현재 프레임 신호를 예측된 현재 프레임만큼 감산하며, 결과 데이타, 즉 차분 화소값을 나타내는 에러신호는 영상신호 부호기(105)로 전달되며, 이때 상술한 에러신호는, 예를들어 DCT와 잘 알려진 양자화 기법을 이용함으로써 한 세트의 양자화된 변환계수들로 부호화된다. 즉, 에러신호는 원래의 신호를 예측된 프레임만큼 감산함으로써 얻어진 다음 DCT 부호화된다. 여기에서, 양자화 스텝 사이즈는 현재 영상의 특성 및 전송 데이타 버퍼의 상황에 따라 최대의 화질을 얻기 위한 값으로 설정된다.

그 후, 양자화된 변환계수들은 스위치(SW3)를 통해 통계적 부호화 회로(40)에 전송되는 한편, 영상신호 복호기(113)로 전송된다. 통계적 부호화 회로(40)에서는, 영상신호 부호기(105)로부터 제공되는 양자화된 변환계수들과 현재 프레임 예측기(150)로부터 스위치(SW3)를 통해 제공되는 움직임 벡터들을, 예를들어 가변 길이 부호화 기법을 이용하여 부호화하며, 이와같이 부호화된 영상신호는 전송을 위해 전송기(도시안됨)로 전달된다.

한편, 영상신호 복호기(113)는 영상신호 부호기(105)로부터 제공되는 한 세트의 양자화된 변환계수들을 역양자화와 역이산 코사인 변환을 이용하여 복원된 에러신호로 다시 변환한다. 또한, 영상신호 복호기(113)로부터 제공되는 복원된 에러신호와 현재 프레임 예측기(150)로부터 제공되는 예측된 현재 프레임 신호는 가산기(115)를 통해 결합되어 복원된 프레임 신호(P1)로 재구성되며, 복원된 프레임 신호(P1)는 제1이전 프레임 메모리(124)에 이전 프레임(제2기준 프레임) I(t+1)으로서 저장된다. 이때, 이전에 저장된 인트라 프레임 I1':I'(t-1)는 제2이전 프레임 메모리(125)로 이동하게 된다. 즉, 처음에 인트라 프레임 I1:I'(t-1)이, 예를들어 제1이전 프레임 메모리(124)에 저장되며, 그 다음 가산기(115)로부터 다음번에 재생된 인터 프레임 신호 P1:I'(t+1)가 제1이전 프레임 메모리(124)로 입력된다면, 인트라 프레임은 프레임 단위로 제2이전 프레임 메모리(125)로 쉬프트 된다. 이러한 처리는 영상 부호화 동작이 수행되는 동안에는 순차적으로 반복된다.

전술한 바와같이, 현재 프레임이 ME 부호화기(30)에 입력된다면, 현재 프레임 신호 I(t1), 제2이전 프레임 메모리(125)로부터의 제1기준 프레임 신호 I'(t-1), 그리고 제1이전 프레임 메모리 회로(124)로부터의 제2기준 프레임 신호 (I'(t+1))는 ME 부호화기(30)에 입력되어 움직임 벡터를 추정하는 데 이용된다. 이러한 ME 부호화기(30)는 제4도를 참조하여 상세히 설명될 것이다.

제4도에는 제1도의 ME 부호화기(30)의 상세한 도면이 제시되어 있다. 제4도에 도시된 바와같이, ME 부호화기(30)는 움직임 영역 검출 회로(310), 에지 검출 회로(312), 특징점 선택 블럭(315), 그리드점 발생부(314), 움직임 벡터 추정 회로(316) 및 움직임 벡터 선택 회로(318)를 구비한다.

제1이전 프레임 메모리(124)로부터의 제2기준 프레임 신호(I'(t+1)) 및 제2이전 프레임 메모리(125)로부터의 제1기준 프레임 신호(I'(t-1))는 움직임 영역 검출 회로(310)에 동시에 제공된다. 또한, 제1기준 프레임 신호(I'(t-1)) 및 제2기준 프레임 신호(I'(t+1))는 스위치(SW6)을 통해 선택적으로 에지 검출 회로(312), 움직임 벡터 추정 회로(316) 및 움직임 벡터 선택 회로(318)에 각각 제공된다.

움직임 영역 검출 회로(310)에서는 제1기준 프레임 신호(I'(t-1))와 제2기준 프레임 신호(I'(t+1))를 입력하여, 이들 두 신호간의 차를 계산하고, 계산된 차분 신호와 기설정된 임계값을 비교하고, 비교 결과에 의거하여 기설정된 임계값(TH)보다 더 큰 차분을 가진 영상의 영역을 나타내는 움직임 영역 정보를 발생한다. 일반적으로, 영상은 움직임이 없거나 일정한 평행 이동 특성을 갖는 배경(background)과 복잡하고 다양한 이동 특성을 갖는 물체(foreground)로 크게 나누어진다. 이 경우, 배경의 움직이 없다면, 연속된 두 영상을 직접 감산하는 경우, 배경에 해당하는 부분은 0에 가까운 값을 가질 것이며, 움직임이 있는 부분은 일정값 이상의 차분 값을 가질 것이다. 따라서, 잡음 성분을 고려하여 적절하게 선택된 기설정된 임계치(TH)를 이용하여, 기설정된 임계치 이상의 차분을 가진 영역을 움직임 영역으로 결정한다.

또한, 이 경우, 프레임간에 배경이 카메라의 평행 이동으로 발생하는 영상 전체의 평행 이동이 존재하는 경우, 잘 알려진 카메라 패닝(panning) 벡터 검출기에서 검출된 이동량을 제1 또는 제2기준 프레임에 적용함으로써 보다 실질적인 움직임 영역을 검출할 수 있다.

전술한 바와 같은 차분 영상은 다음의 수식과 같이 표시될 수 있다.

하기의 수식에서, D(p, t, s)는 차분 영상을 나타내고, I(p, t)는 기준 프레임을 나타내며, I(pl, t+s)는 제2기준 프레임을 나타내고, p는 p = (x, y)로서 절대 화소위치를 나타내며, pl은 x - dx, y - dy를 나타내고, dx 및 dy는 기준 프레임에서 이동된 프레임으로의 카메라 패닝 벡터를 나타내며, s는 시간 변화량을 나타낸다.

또한, 움직임 영역은 다음의 수식과 같이 표시될 수 있다.

상기한 수식에서, R(p, t, s)는 움직임 영역을 나타낸다.

이러한 움직임 영역 정보는 특징점 선택 회로(315) 및 움직임 벡터 선택 회로(318)에 각각 제공된다.

한편, 스위치(SW6)에 의해 제1기준 프레임이 선택된 경우, 제1기준 프레임(I(t-1))은 에지 검출 회로(312), 움직임 벡터 추정 회로(316) 및 움직임 벡터 선택 회로(318)에 각각 제공된다.

먼저, 에지 검출 회로(312)에서는 제1기준 프레임(I'(t-1))을 이용하여 에지 화소를 검출하는데, 이러한 에지 화소의 크기는 다음의 수식으로 표시될 수 있다.

여기서, E(p, t)는 에지의 화소 크기를 나타낸다.

에지 검출 회로(312)에 의해 검출된 에지는 특징점 선택 회로(315)에 입력된다.

또한, 그리드점 발생부(314)에서는 기본적인 프레임 구조에서 기설정된 위치에 배치한 선택된 점들을 그리드점으로 결정하며, 잘 알려진 바와같이 이들 점을 선택하기 위해, 사각 및 육각 그리드가 이용된다. 이 경우, 그리드점은 그리드를 이루는 선들이 만나는 교차점에서 설정된다. 선택된 그리드점들은 특징점 선택 블럭(315)에 제공된다.

다음에, 특징점 선택 블럭(315)에서는 움직임 영역 정보, 에지 정보 및 선택된 그리드점들을 이용하여, 제1기준 프레임의 검출된 움직임 영역에 포함된 다수의 화소중에서 선택된 그리드점에 대응하는 점들과 일부의 에지 점들로 한 세트의 특징점이 선택된다.

일예로서, 제5 및 제6도에 도시된 바와같이, 움직임 영역내에 그리드점(G1, G2, G3, G4)과 에지(EL)가 동시에 존재하는 경우, 객체의 움직임을 보다 잘 표현하기 위해 특징점은 에지(E1)상에 설정된다. 도면에 도시된 바와같이, 특징점 선택 회로(315)에서는 각 그리드점에서 대상 그리드점(G4)을 중심으로 기설정된 범위(R)에서 에지점들이 존재하는지를 조사한 다음, 기설정된 범위내에 존재하는 에지점들중 가장 큰 값을 가진 에지점(E1)이 존재하는 경우, 특징점은 가장 큰 값을 가진 에지점(E1)에 설정된다. 만일 기설정된 범위내에 에지점이 존재하지 않는 경우, 그리드점(즉, G1, G2, G3)은 무시된다. 이렇게 특징점으로 선정된 에지점(E1)의 위치 정보는 움직임 벡터 추정 회로(316)에 제공된다.

움직임 벡터 추정 회로(316)는 선택된 특징점 각각에 대한 움직임 벡터를 추정한다. 여기에서 추정된 움직임 벡터 각각은 기준 프레임의 특징점으로부터 현재 프레임에서 가장 유사한 화소간의 변위이다.

전술한 바와같이, 화소단위로 움직임 벡터를 검출하는 프로세싱 알고리즘에는 여러가지가 있으나, 본 발명의 바람직한 실시예에서는 블럭 매칭 알고리즘이 사용된다. 제6도를 참조하면, 하나의 특징점(F)이 특징점 선택 회로(315)로부터 수신될 때, 움직임 벡터 추정 회로(316)에서는 중앙에 특징점을 가지는 특징점 블럭(K1), 예를들면 5x5 화소 크기의 제1기준 프레임 데이타를 제1프레임 메모리(16)(제1도에 도시됨)에 대해서 검색한다. 탐색영역(K2), 예를들면 특징점을 중앙으로 하여 상하좌우 5의 범위내에 존재하는 현재 프레임내의 특징점 블럭(K1)과 동일한 크기의 다수 후보 블럭과 특징점 블럭(K1)과의 유사도를 결정하여 특징점 블럭(K1)에 대한 특징점 움직임 벡터를 결정한다. 이렇게 결정된 특징점 움직임 벡터는 움직임 벡터 선택 회로(318)에 제공된다.

제7도를 참조하면, 움직임 보상을 위한 역방향 움직임 벡터를 결정하기 위해서는 우선, 입사(project)에 대한 역방향 움직임 벡터를 먼저 결정하는데, 각각의 특징점은 이전 프레임의 특징점 각각으로부터 해당 움직임 벡터(MV1, MV2) 각각 만큼 이동한 현재 프레임의 화소점(F'1, F'2)을 나타낸다. 입사 특징점의 역방향 움직임 벡터(MV'1, MV'2)의 크기는 해당 특징점의 움직임 벡터와 같고 그 두 움직임 벡터의 방향은 반대이다. 모든 입사 특징점에 대한 움직임 벡터를 결정한 후에는 현재 프레임의 나머지 화소에 대한 움직임 벡터를 다음과 같이 결정한다.

제7도에 도시된 바와같이, 화소(PF)가 두개의 입사 특징점(F'1) 및 (F'2) 사이에 존재한다면, 움직임(MVp)은 다음의 수식과 같이 표시될 수 있다.

여기서, m은 특징점의 총갯수이고, MVj는 움직임 벡터이며, Li 및 Lj는 대상 화소와 각 입사 특징점 사이의 거리를 나타내며, W는 기설정된 가중치를 나타낸다.

제4도를 다시 참조하면, 움직임 벡터 추정 회로(316)에서 추정된 입사 특징점과 일반 화소에 대한 역방향 움직임 벡터는 움직임 벡터 선택 회로(318)로 제공된다. 움직임 벡터 선택 회로(318)에서는 현재 프레임의 예측된 움직임 영역에 포함될 화소들 각각을, 움직임 영역 정보와 역방향 움직임 벡터 각각을 이용하여 제2기준 프레임 메모리(14)(제1도에 도시됨)로부터 인출한다. 한편, 움직임 영역 이외의 에측된 현재 프레임의 화소는 각기 움직임 벡터가 카메라 패닝 벡터와 동일한 것으로 가정하여, 대응하는 기준 프레임의 화소를 그대로 인출한다. 그런 다음, 이러한 방법으로 얻어진 예측 프레임과 현재 프레임을 이용하여 제1기준 프레임 선택에 따른 피이크 신호대 잡음비(PSNR)가 얻어진다.

다른 한편, 스위치(SW6)에 의해 제2기준 프레임이 선택된 경우, 전술한 방법과 동일한 방법으로 제2기준 프레임 선택에 따른 피이크 신호대 잡음비(PSNR)가 얻어진다. 제1기준 프레임 및 제2기준 프레임 선택에 따른 PSNR이 얻어진 경우, 움직임 벡터 선택 회로(318)는 두개의 피이크 신호대 잡음비를 비교하여, 보다 나은 PSNR을 제공하는 방향의 움직임 벡터와 선택된 방향에 대한 정보를 제1도에 도시된 스위치(SW3)를 통해 통계적 부호화 회로(40)에 제공한다.

즉, 본 발명에 따른 비디오 신호 부호화 장치에서는 양방향 예측 프레임에 대한 움직임이 있는 영역에서만 선택된 특징점의 움직임 벡터와 움직임 선택 방향 정보를 전송 채널을 통해 수신측으로 전송한다.

제8도를 참조하면, 제1도에 도시된 영상 부호화 장치에 대응하는 영상 복호화 장치가 도시된다. 영상 복호화 장치는 통계적 복호화기(910), MC-DCT 복호화기(912), ME 복호화기(914) 및 프레임 재배열 회로(930)를 포함한다.

부호화된 영상신호는 순차적으로 통계적 부호화기(910)에 입력되면, 이 경우, 입력 프레임 순차열은 전술한 바와같이, I1, P1, B1, P2, B3, P3, B3와 같은 순서로 프레임이 배열된다. 제어신호(OS7)에 의해 동작하는 스위치(SW7)에 의해 인트라 프레임(I1)과 인터 프레임 P1, P2, P3는 MC-DCT 복호화기(912)를 통해 복호화되며, 인터 프레임 B1, B2, B3는 ME 복호화기(914)에 의해 복호화된다. 그런 다음, 복호화된 프레임은 순차적으로 프레임 재배열 회로(930)에 입력된다.

프레임 재배열 회로(930)는 3개의 프레임 메모리, 즉, 제4, 제5 및 제6프레임 메모리(916,918,920), 스위치(SW8) 및 버퍼(922)를 포함한다. 프레임 재배열 회로(930)는 제어신호(OS8)에 의해 동작하는 스위치(SW8)의 동작을 이용하여, 전술하는 프레임 순차열에 따라 입력되는 프레임들을 순차적으로 3개의 메모리에 입력하고, 버퍼(922)를 이용하여 원래의 프레임 순차열인 I1, B1, P1, . . . 로 변환하여 출력하게 된다.

제9도를 참조하면, MC-DCT 복호화기(912)는 정보 분류기(1010), 영상 복호화기(1012), 현재 프레임 예측부(1016), 제3 및 제4이전 프레임 메모리(1018,1020)를 포함한다. 부호화된 현재 프레임이 인트라 프레임인 경우, 부호화된 현재 프레임은 정보 분류기(1010)를 통해 영상 복호화기(1012)에 입력된다. 영상 복호화기(1012)에서는 부호화된 현재 프레임을 전술한 영상 부호화 방식과는 반대로 역양자화 및 역이산 코사인 변환을 이용하여 부호화전의 원신호로 복호화하며, 이와같이 복호화된 영상신호는 가산기(1014)를 통해 프레임 재배열 회로(930)로 제공됨과 동시에 제3이전 프레임 메모리(1018)에 이전(기준) 프레임으로 기록된다.

부호화된 현재 프레임이 인터 프레임 P1인 경우, 부호화된 현재 프레임은 전술한 바와같이, 부호화된 에러신호와 한 세트의 움직임 벡터를 포함한다. 이러한 부호화된 현재 프레임 신호는 정보 분류기(1010)를 통해 각기 부호화된 에러신호와 한 세트의 움직임 벡터로 분리되어 영상 복호화기(1012) 및 현재 프레임 예측부(1016)로 각각 입력된다. 영상 복호화기(1012)에 입력된 부호화된 에러신호는 전술한 바와같이 역양자화 및 역이산 코사인 변환을 통해 에러신호로 복원된다. 한편, 현재 프레임 예측부(1016)는 입력된 움직임 벡터를 이용하여 제3이전 프레임 메모리(1018)로부터 각 움직임 벡터에 대응하는 이전 프레임 화소를 인출함으로써 예측된 현재 프레임 신호를 발생한다. 예측된 현재 프레임 신호는 가산기(1014)로 제공되어 에러신호와 가산되므로써 현재 프레임 신호로서 복원된다. 그런 다음, 복원된 현재 프레임 신호는 프레임 재배열 회로(930)로 제공됨과 동시에 제3이전 프레임 메모리(1018)에 입력된다. 이 경우, 기저장된 인트라 프레임은 제4이전 프레임 메모리(1020)로 시프트된다.

제10도를 참조하면, ME 복호화기(910)의 상세 블럭도가 개시되는데, 상술한 ME 부호화기(제1도 및 제4도 참조)와 마찬가지로 제1 및 제2기준 프레임 신호를 이용하여 움직임 영역을 추출하는 움직임 영역 검출부(1102), 특징점을 검출하기 위한 에지 검출부(1104), 그리드점 발생기(1108), 특징점 선택부(1106) 및 현재 프레임 발생부(1110)를 포함한다. 이때, 스위치(SW9)의 동작은 입력되는 움직임 벡터의 방향 정보에 의해 제어되며, 현재 프레임 발생부(1110)는 입력되는 특징점들과 그 특징점들의 움직임 벡터를 이용하여, 움직임 영역내의 모든 화소에 대한 움직임 벡터를 계산하고, 계산된 움직임 벡터에 상응하는 기준 프레임내의 화소를 인출하며, 움직임 영역 이외의 영역에서는 움직임 벡터를 카메라 패닝 벡터로 가정하여, 기준 프레임내의 대응하는 위치의 화소를 인출함으로 현재 프레임을 복원하게 된다. 이렇게 복원된 현재 프레임은 프레임 재배열 회로(930)에 입력된다.

이상 설명한 바와같이, 본원 발명의 비디오 신호 부호화 및 복호화 장치는 양방향 예측 프레임을 부호화함에 있어, 움직임이 있는 영역에서만 선택된 특징점의 움직임 벡터만을 수신측으로 전송하고, 수신측에서는 이를 이용하여 간편하게 양방향 예측 프레임을 복원할 수 있기 때문에 부호화 효율을 최대화할 수 있는 등의 장점이 있음을 알 수 있을 것이다.

Claims (8)

1. 시간, 공간적으로 연속하는 프레임열로 구성된 영상신호를 부호화하기 위한 영상 부호화 장치에 있어서, 상기 프레임열내의 인트라 프레임, 예측 프레임 및 양방향 예측 프레임들로 부호화될 프레임을 부호화 순서에 따른 순서로 재배열하기 위한 프레임 재배열 회로; 상기 재배열된 프레임중 인트라 프레임으로 부호화될 프레임을 제1현재 프레임으로 입력하여, 공간상의 중복성을 제거함으로써 부호화된 인트라 프레임을 발생하는 제1부호화 회로; 상기 재배열된 프레임 중 예측 프레임으로부터 부호화된 프레임을 제2현재 프레임으로 입력하고, 상기 제2현재 프레임으로 복호화될 이전 프레임을 이용하여 제1움직임 벡터를 검출하며, 검출된 움직임 벡터를 이용하여 얻어진 예측 프레임과 상기 제2현재 프레임간의 편차를 나타내는 에러신호를 공간상의 중복성을 제거하여 부호화함으로써, 상기 제1움직임 벡터와 부호화된 에러신호를 발생하는 제2부호화 회로; 상기 재배열된 프레임 중 양방향 예측 프레임으로 부호화될 프레임을 제3현재 프레임으로 입력하고, 상기 제3현재 프레임으로부터 복호화된 이전 프레임과 그의 다음 프레임을 이용하여 움직임이 있는 영역을 검출하고, 검출된 움직임 영역에서만 특징점을 설정하며, 설정된 특징점에 대해 이전 프레임을 이용한 전방 움직임 벡터와 다음 프레임을 이용한 후방 움직임 벡터를 추정하고, 추정된 전방 및 후방 움직임 벡터중에서 보다 나은 예측 프레임을 생성하는 움직임 벡터를 제2움직 벡터로서 발생하며, 선택된 움직임 벡터의 방향을 나타내는 움직임 방향 정보를 발생하는 제3부호화 회로; 및 상기 제1부호화 회로로부터의 부호화된 인트라 프레임, 제2부호화 회로로부터의 제1움직임 벡터 및 부호화된 에러신호, 제3부호화 회로로부터의 제2움직임 벡터를 순차적으로 입력하여 정보량(entropy) 부호화를 수행함으로써 부호화된 영상신호를 발생하는 통계적 부호화 회로를 포함하는 것을 특징으로 하는 비디오 신호 부호화 장치.
2. 제1항에 있어서, 상기 제3부호화 회로는; 상기 재배열된 프레임 중 양방향 예측 프레임을 제3현재 프레임으로 입력하여, 상기 제3현재 프레임의 복호화된 이전 프레임과 그의 다음 프레임의 편차를 이용하여 움직임이 있는 영역을 검출하는 움직임 영역 정보를 발생하는 움직임 영역 검출 회로; 상기 검출된 움직임 영역에서 특징점을 설정하여, 설택된 특징점의 정보를 발생하는 특징점 선택 회로; 상기 선택된 특징점 정보, 상기 움직임 영역 정보 및 상기 제3현재 프레임을 입력하고, 상기 이전 프레임 및 상기 다음 프레임을 순차적으로 입력하며, 블럭 매칭 움직임 기법을 이용하여, 이전 프레임을 이용한 전방 움직임 벡터와 다음 프레임을 이용한 후방 움직임 벡터를 추정하는 움직임 벡터 추정 회로; 및 상기 전방 및 후방 움직임 벡터와 상기 제3현재 프레임을 입력하고, 상기 이전 프레임과 상기 다음 프레임을 입력하며, 상기 제3현재 프레임, 상기 이전 프레임 및 상기 전방 움직임 벡터를 이용하여 전방 예측 제3현재 프레임을 발생하고, 상기 제3현재 프레임, 상기 다음 프레임 및 상기 후방 움직임 벡터를 이용하여 후방 예측 제3현재 프레임을 발생하며, 후방 예측 제3프레임과 전방 예측 제3프레임중 보다 나은 예측 제3현재 프레임을 생성하는 움직임 벡터를 제2움직임 벡터로서 발생하는 움직임 벡터 선택 회로를 구비하는 것을 특징으로 하는 비디오 신호 부호화 장치.
3. 제2항에 있어서, 상기 움직임 영역은, 상기 이전 프레임과 상기 다음 프레임간의 차신호에서, 기설정된 임계값 이상의 차분을 가진 영역으로 이루어진 것을 특징으로 하는 비디오 신호 부호화 장치.
4. 제3항에 있어서, 상기 특징점 선택 회로는: 상기 이전 프레임 또는 상기 다음 프레임을 기준 프레임으로 입력하여, 상기 기준 프레임내에 존재하는 객체의 에지를 검출한 다음, 에지 크기를 나타내는 에지 정보를 발생하는 에지 검출 회로; 프레임의 기본 구성에 근거하여, 기설정된 거리만큼의 간격을 가진 그리드점을 설정하고, 설정된 그리드점을 나타내는 그리드점 정보를 발생하는 그리드점 발생회로; 및 상기 발생된 움직임 영역 정보, 에지 정보 및 그리드점 정보에 의거하여, 상기 움직임 영역내에서 특징점을 결정하는 특징점 선택 회로를 포함하는 것을 특징으로 하는 비디오 신호 부호화 장치.
5. 제4항에 있어서, 상기 움직임 벡터 선택 회로는: 상기 특징점 움직임 벡터를 이용하여 상기 제3현재 프레임의 움직임 영역에 포함된 모든 화소에 대한 제2세트의 움직임 벡터를 발생시키는 수단; 상기 제2세트의 움직임 벡터 각각을 통해 상기 제3현재 프레임의 화소중 하나에 대응하는 상기 기준 프레임의 각각의 화소값을 상기 현재 프레임의 상기 하나의 화소값으로 배정하는 수단; 및 상기 움직임 영역을 제외한 나머지 영역의 제3현재 프레임의 화소를 동일 위치의 상기 기준 프레임으로부터의 화소값으로 배정함으로써, 예측 제3현재 프레임을 발생하는 수단을 포함하는 것을 특징으로 하는 비디오 신호 부호화 장치.
6. 정보량(entropy) 부호화된 인트라 프레임, 부호화된 제1움직임 벡터와 부호화된 에러신호를 가진 정보량 부호화된 예측 프레임과, 부호화된 제2움직임 벡터와 움직임 벡터 방향 정보를 가진 정보량 부호화된 양방향 예측 프레임을 포함하는 부호화된 영상신호를 복호화하기 위한 장치에 있어서, 상기 정보량 부호화된 인트라 프레임, 정보량 부호화된 예측 프레임 및 정보량 부호화된 양방향 예측 프레임을 정보량 부호화전의 원신호로 복호화하기 위한 통계적 복호화기; 상기 정보량 복호화된 인트라 프레임을 공간적 중복성을 부가함으로써, 재생된 인트라 프레임 신호를 발생하는 제1복호화 회로; 상기 정보량 복호화된 제1움직인 벡터와 에러신호를 입력하고, 상기 제1움직임 벡터를 이용하여 제1예측 현재 프레임을 생성하며, 상기 생성된 제1예측 현재 프레임과 상기 에러신호를 결합하여, 재생된 예측신호를 발생하는 제2복호화 회로; 상기 양방향 프레임의 이전 프레임과 그의 다음 프레임의 편차를 이용하여 움직임이 있는 영역을 검출하는 움직임 영역 정보를 발생하는 움직임 영역 검출부; 상기 검출된 움직임 영역에서 특징점을 선택하고, 선택된 특징점의 정보를 발생하는 특징점 선택 회로; 상기 선택된 특징점 정보, 상기 움직임 영역 정보 및 상기 제2움직임 벡터를 입력하고, 상기 이전 프레임 및 상기 다음 프레임중 상기 움직임 벡터의 방향 방향 정보에 의해 선택된 기준 프레임을 입력하여, 재생된 예측 프레임을 발생하는 제3복호화 회로; 및 상기 재생된 인트라 프레임, 재생된 예측 프레임, 재생된 양방향 예측 프레임을 입력하여, 원래의 프레임열에 따른 프레임의 순서로 재배열하여 출력하는 프레임 재배열 회로를 포함하는 것을 특징으로 하는 비디오 신호 복호화 장치.
7. 제6항에 있어서, 상기 움직임 영역은, 상기 이전 프레임과 상기 다음 프레임간의 차신호에서, 기설정된 임계값 이상의 차분을 가진 영역으로 이루어진 것을 특징으로 하는 비디오 신호 복호화 장치.
8. 제6항에 있어서, 상기 특징점 회로는: 상기 이전 프레임 또는 상기 다음 프레임을 기준 프레임으로 입력하고, 상기 기준 프레임내에 존재하는 객체의 에지를 검출한 다음, 에지 크기를 나타내는 에지 정보를 발생하는 에지 검출부; 프레임의 기본 구성에 근거하여, 기설정된 거리만큼의 간격을 가진 그리드점을 설정하고, 설정된 그리드점을 나타내는 그리드점 정보를 발생하는 그리드점 발생회로; 및 상기 움직임 영역 정보, 에지 정보 및 그리드점 정보에 의거하여, 상기 움직임 영역내에서 특징점을 결정하는 특징점 선택부를 포함하는 것을 특징으로 하는 비디오 신호 복호화 장치.