KR100252346B1

KR100252346B1 - 개선된 텍스쳐 움직임 벡터 부호화 장치 및 그 방법

Info

Publication number: KR100252346B1
Application number: KR1019970039606A
Authority: KR
Inventors: 이상훈
Original assignee: 전주범; 대우전자주식회사
Priority date: 1997-08-20
Filing date: 1997-08-20
Publication date: 2000-04-15
Also published as: KR19990016891A

Abstract

본 발명은 하이브리드 부호화 기법을 이용하여 영상의 택스쳐 정보를 부호화하는 시스템에 있어서, 추출된 현재 움직임 벡터에 참조하고자 하는 다수의 이전 움직임 벡터에 각각 대응하는 이전 블록의 경계 화소값들을 고려하여 최적 움직임 벡터를 결정함으로써 움직임 벡터에 따른 비트 발생량을 억제할 수 있도록 한 텍스쳐 움직임 벡터 부호화 기법에 관한 것으로, 이를 위하여 본 발명은, 현재 프레임의 텍스쳐 정보내 N×N 현재 블록과 재구성된 이전 프레임내 대응하는 P×P 탐색영역내에 존재하는 다수의 N×N 후보 블록간의 블록 매칭을 수행하여 얻어지는 최적 정합 블록간의 현재 움직임 벡터를 추출하고; 추출된 현재 움직임 벡터를 움직임 벡터 차값 산출을 위한 이전 움직임 벡터로써 저장하고, 이전 움직임 벡터로써 저장되는 각 움직임 벡터에 대응하는 기설정된 다수의 N×N 이전 블록들을 저장하며; N×N 현재 블록과 기설정된 다수의 각 N×N 이전 블록간의 사이드 매칭을 통해 서로 대응하는 경계 화소값들간의 총 자승 오차값을 각각 산출하고; 산출된 총 자승 오차값들을 비교하며, 기설정된 다수의 N×N 이전 블록들중 총 자승 오차값이 가장 작은 이전 블록을 최적 이전 블록으로 결정하며; 저장된 다수의 이전 움직임 벡터들중 결정된 최적 이전 블록에 대응하는 이전 움직임 벡터를 참조 이전 움직임 벡터로써 인출하고; N×N 현재 블록에 대응하는 추출된 현재 움직임 벡터와 참조 이전 움직임 벡터를 감산하여 움직임 벡터 차분값을 생성하고, 생성된 움직임 벡터 차분값을 해당 N×N 현재 블록의 최종 움직임 벡터로써 전송하는 기술적 수단을 포함한다.

Description

개선된 텍스쳐 움직임 벡터 부호화 장치 및 그 방법

본 발명은 영상신호를 저전송율로 압축 부호화하는 물체 기반 부호화 장치에 관한 것으로, 더욱 상세하게는 프레임을 윤곽 정보와 텍스쳐 정보(밝기 정보)를 분리하여 각각 부호화 할 때 현재 프레임내 텍스쳐 정보와 재구성된 이전 프레임내 텍스쳐 정보간의 블록 단위 움직임 추정을 통해 추출되는 움직임 벡터를 부호화하는 데 적합한 움직임 벡터 부호화 장치 및 그 방법에 관한 것이다.

이 기술분야에 잘 알려진 바와 같이, 이산화된 영상신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 "프레임"으로 구성된 영상신호가 디지탈 형태로 표현될 때, 특히 고품질 텔레비젼(HDTV)의 경우 상당한 양의 전송 데이터가 발생하게 된다. 그러나, 종래의 전송 채널의 사용가능한 주파수 영역이 제한되어 있으므로, 많은 양의 디지탈 데이터를 전송하기 위해서는 전송하고자 하는 데이터를 압축하여 그 전송량을 줄일 필요가 있다.

따라서, 송신측의 부호화 시스템에서는 영상신호를 전송할 때 그 전송되는 데이터량을 줄이기 위하여 영상신호가 갖는 공간적, 시간적인 상관성을 이용하여 압축 부호화한 다음 전송채널을 통해 압축 부호화된 영상신호를 수신측의 복호화 시스템에 전송하게 된다.

한편, 영상신호를 부호화하는데 주로 이용되는 다양한 압축 기법으로서는, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

상기한 부호화 기법중의 하나인 대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화)등을 이용한다. 여기에서, 움직임보상 DPCM 은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이러한 방법은, 예를 들어 Staffan Ericsson 의 "Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding", IEEE Transactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 "A motion Compensated Interframe Coding Scheme for Television Pictures",IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.

보다 상세하게, 움직임보상 DPCM 에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로 부터 예측하는 것이다. 여기에서, 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다. 여기에서, 물체의 화소 변위는, 잘 알려진 바와같이, 소정크기(예를들면, 8×8 블록, 16×16블록 등)의 블록단위로 현재 프레임의 현재 블록을 재구성된 이전 프레임의 탐색영역내 다수의 후보 블록들과 비교하여 최적 정합 블록을 결정하여 입력되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)를 추정하는 블록단위 움직임 추정기법과 각 화소단위로 현재 프레임의 화소값을 이전 프레임의 화소값들로 부터 추정하여 보상하는 화소단위 움직임 추정기법 등을 통해 그 움직임을 추정할 수 있을 것이다.

따라서, 송신측에서는 영상신호를 전송할 때 상술한 바와같은 부호화 기법을 통해 블록단위 또는 화소단위로 영상신호가 갖는 공간적, 시간적인 상관성을 고려해 압축 부호화하여 출력측의 버퍼에 차례로 저장하게 되며, 이와같이 저장된 부호화된 영상데이터는 채널의 요구에 부응하여 소망하는 비트 레이트로 전송채널을 통해 수신측의 복호화 시스템에 전송될 것이다.

보다 상세하게, 송신측의 부호화 시스템에서는 이산 코사인 변환(DCT)등의 변환부호화를 이용하여 영상신호의 공간적인 중복성을 제거하고, 또한 움직임 추정,예측등을 통한 차분부호화를 이용하여 영상신호의 시간적인 중복성을 제거함으로서, 영상신호를 효율적으로 압축하게 된다.

통상적으로, 상술한 바와같은 DPCM/DCT 하이브리드 부호화 기법은 목표 비트레이트가 Mbps 급이고, 그 응용분야로서 CD-ROM, 컴퓨터, 가전제품(디지탈 VCR 등), 방송(HDTV) 등이 될 수 있으며, 세계 표준화기구에 의해 표준안이 이미 완성된, 영상내의 블록단위 움직임의 통계적 특성만을 주로 고려하는, 고전송율의 부호화에 관한 MPEG1,2 및 H.261 부호화 알고리즘 등에 주로 관련된다.

한편, 최근들어 PC 의 급격한 성능 향상과 보급 확산, 디지탈 전송기술의 발전, 고화질 디스플레이 장치의 실현, 메모리 디바이스의 발달 등으로 가전제품을 비롯한 각종 기기들이 방대한 데이터를 가진 영상 정보를 처리하고 제공할 수 있는 기술중심으로 재편되고 있는 실정이며, 이러한 요구를 충족시키기 위하여 비트레이트가 kbps 급인 기존의 저속 전송로(예를들면, PSTN, LAN, 이동 네트워크 등)를 통한 오디오-비디오 데이터의 전송과 한정된 용량의 저장장치로의 저장을 위해 고압축율을 갖는 새로운 부호화 기술을 필요로 하고 있다.

그러나, 상술한 바와같은 기존의 동영상 부호화 기법들은 이동 물체의 모양과 전역 움직임(global motion)등과는 관계없이 전체 영상에서 지역적인 블록 움직임에 근거하고 있다. 따라서, 기존의 동영상 부호화 기법들은 저전송율에서 블록별 이동 보상 부호화를 적용하는 경우 블록화 현상, 모서리 떨림 현상, 반점 현상 등과 같은 화질 저하가 최종 복원되는 재생 영상에 나타나게 된다. 또한, 저전송율의 영상 전송을 위해 해상도를 유지하려면 영상 데이터의 고 압축율이 필요한데, 상기한 기존의 DCT 변환에 기초한 하이브리드 부호화 기법으로는 그 구현이 불가능하다.

따라서, 현재로서는 기존의 DCT 변환에 기초한 부호화 기법에 대해 추가 압축 실현을 위한 부호화 기법의 표준이 필요한 실정이며, 이러한 시대적인 필요 욕구에 따라 최근 인간의 시각 특성에 바탕을 두고 주관적 화질을 중요시하는 MPEG4 의 표준안 제정을 위한 저전송율 동영상 부호화 기법에 대한 연구가 도처에서 활발히 진행되고 있다.

이러한 필요 충족을 위해 현재 연구되고 있는 실현 가능한 유력한 저전송율 동영상 부호화 기법들로서는, 예를들면, 기존의 부호화 기법을 향상시키고자 하는 파형 기반 부호화(Wave-Based Coding), 모델 기반 부호화(Model-Based Coding)의 일종에 속하는 동영상 물체 기반 부호화(Object-Based Coding), 영상을 복수개의 부블록으로 분할하여 부호화하는 분할 기반 부호화 (Segmentation-Based Coding), 영상의 자기유사성을 이용하는 프렉탈 부호화(Fractal Coding) 등이 있다. 여기에서, 본 발명은 동영상 물체 기반 부호화 기법에 관련된다고 볼 수 있다.

본 발명에 관련되는 동영상 물체 기반 부호화 기법으로는 물체 지향 해석 및 합성 부호화 기법(object - oriented analysis - synthesis coding technique)이 있으며, 이러한 기법은 Michael Hotter, "Object - Oriented Analysis - Synthesis Coding Based on Moving Two - Dimentional Objects", Signal Processing : Image Communication 2, pp.409-428(December, 1990)에 개시되어 있다.

상기한 물체 지향 해석 및 합성 부호화 기법에 따르면, 입력 비디오 신호는 임의의 물체들로 나누어지고, 각 물체의 움직임, 윤곽 및 내용정보(즉, 화소 밝기 정보) 데이터는 그들 상호간의 데이터 특성상 성질이 전혀 다른 정보이므로 그 부호화 방법이 서로 독립적, 즉 서로 다른 부호화 채널을 통해 각각 처리된다. 따라서, 각각 별개의 부호화 채널을 통해 부호화된 정보들은, 예를들면 멀티플렉서 등을 통해 다중화되어 전송기로 보내질 것이다. 여기에서, 본 발명은 실질적으로 프레임내 텍스쳐 정보(밝기 정보)의 움직임 추정을 통해 발생하는 텍스쳐 움직임 벡터를 부호화하는 장치에 관련된다.

한편, 연속되는 영상의 경우 시간축상으로 많은 상관성(redundancy)을 포함하는 데, 물체 기반 부호화에서 이용되는 텍스쳐 정보(밝기 정보)도 마찬가지로 연속되는 두 영상의 텍스쳐 정보간에 어느 정도의 상관성을 포함한다. 따라서, 동영상의 텍스쳐 정보를 효과적으로 부호화하기 위해서는 시간축상으로 존재하는 텍스쳐간의 상관성을 최대로 이용할 필요가 있다.

따라서, 영상의 텍스쳐 정보들은 프레임내 또는 프레임간 상관성을 고려한 하이브리드 부호화 기법을 통해 부호화, 즉 현재 프레임과 재구성된 이전 프레임간의 N×N 블록(예를들면, 8×8 또는 16×16 등) 단위의 움직임 추정, 보상을 통해 얻어지는 에러신호(또는 오차신호)를 DCT, 양자화 및 가변길이 부호화 등의 기법을 적용하여 부호화된다.

이때, 움직임 추정을 통해 얻어지는 움직임 벡터들의 세트는 수신측 복호화 시스템에서의 복원을 위해 부호화된 텍스쳐 정보들과 함께 부호화되어 전송되는 데, 종래 방법에서는 각 움직임 벡터에 할당되는 비트량을 억제하기 위하여 추출된 움직임 벡터를 그대로 전송하지 않고, 이전 움직임 벡터와의 차값을 산출하여 전송하도록 하고 있다.

즉, 일예로서 도 4에 도시된 바와같이, 현재 블록에서 추출한 움직임 벡터가 MVC 라고 가정하고, 참조하고자 하는 주변의 이전 움직임 벡터가 MV1, MV2, MV3 라고 가정하며, 이때 현재 움직임 벡터값이 5이고 세 개의 이전 움직임 벡터값들이 5, 7, 8일 때, 현재 움직임 벡터값과 세 이전 움직임 벡터값중 중간값을 감산한 차값, 즉 5-7 = 2값을 부호화하여 전송한다. 따라서, 종래방법에서는 이와같이 움직임 벡터 차분값을 전송함으로써 움직임 벡터에 할당되는 비트량을 절감할 수 있었다.

그러나, 참조되는 세 개의 이전 움직임 벡터값들중 중간값을 선택하여 현재 움직임 벡터값과의 차값을 전송하는 상기한 바와같은 종래기술은, 예를들어 추출한 현재 움직임 벡터값이 13이고, 참조하고자 하는 세 개의 이전 움직임 벡터값들이 -9, 0, 15 인 경우라 가정할 때 13-0 의 산출결과로써 -13의 움직임 벡터 차값을 전송해야만 하므로 그로 인해 비트 발생량이 오히려 커지게 되어, 결과적으로 전체 비트 발생량의 억제에는 그다지 큰 효과를 거둘 수가 없었다.

따라서, 본 발명은 상기한 점에 착안하여 안출한 것으로, 하이브리드 부호화 기법을 이용하여 영상의 택스쳐 정보를 부호화하는 시스템에 있어서, 추출된 현재 움직임 벡터에 참조하고자 하는 다수의 이전 움직임 벡터에 각각 대응하는 이전 블록의 경계 화소값들을 고려하여 최적 움직임 벡터를 결정함으로써 움직임 벡터에 따른 비트 발생량을 억제할 수 있는 개선된 텍스쳐 움직임 벡터 부호화 장치 및 그 방법을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 프레임내 텍스쳐 정보에 존재하는 공간축상의 상관도와 프레임간 텍스쳐 정보에 존재하는 시간축상의 상관도를 이용하여 입력 프레임 신호를 압축 부호화하는 부호화 시스템에서 현재 프레임의 텍스쳐 정보와 재구성된 이전 프레임의 텍스쳐 정보간의 N×N 블록 단위 움직임 추정을 통해 얻어지는 움직임 벡터 세트들을 부호화하는 장치에 있어서, 상기 움직임 벡터 부호화 장치는: 상기 현재 프레임의 텍스쳐 정보내 N×N 현재 블록과 상기 재구성된 이전 프레임내 대응하는 P×P 탐색영역내에 존재하는 다수의 N×N 후보 블록간의 블록 매칭을 수행하여 얻어지는 최적 정합 블록간의 움직임 벡터를 추출하는 움직임 추정기; 상기 움직임 추정기로부터 제공되는 추출된 움직임 벡터들을 움직임 벡터 차값 산출을 위한 이전 움직임 벡터로써 저장하는 제 1 메모리 블록; 상기 제 1 메모리 블록에 저장되는 이전 움직임 벡터에 대응하는 기설정된 다수의 이전 블록들을 상기 움직임 추정기로부터 제공받아 저장하는 제 2 메모리 블록; 상기 N×N 현재 블록과 상기 제 2 메모리 블록으로부터 제공되는 기설정된 인접하는 주변 이전 블록들간의 경계 화소값의 그레이 레벨 왜곡치를 각각 산출하고, 이 산출된 왜곡치에 의거하여 상기 기설정된 다수의 이전 블록중 최적 이전 블록을 결정하며, 상기 저장된 다수의 이전 움직임 벡터들중 상기 결정된 최적 이전 블록에 대응하는 이전 움직임 벡터를 참조 이전 움직임 벡터로써 인출하기 위한 제어신호를 발생하여 상기 제 1 메모리 블록으로 제공하는 블록 결정기; 및 상기 움직임 추정기로부터 제공되는 현재 움직임 벡터와 상기 인출 제어신호에 응답하여 상기 제 2 메모리 블록으로부터 판독되는 상기 참조 이전 움직임 벡터간의 감산을 통해 각 N×N 현재 블록의 움직임 벡터 차분값을 각각 추출하는 차분 발생 블록을 포함하며, 상기 영상 부호화 시스템은, 상기 움직임 벡터 차분값 세트들과 상기 압축 부호화된 프레임내 텍스쳐 정보들을 가변길이 부호화하는 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 부호화 장치를 제공한다.

상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 프레임내 텍스쳐 정보에 존재하는 공간축상의 상관도와 프레임간 텍스쳐 정보에 존재하는 시간축상의 상관도를 이용하여 입력 프레임 신호를 압축 부호화하는 부호화 시스템에서 현재 프레임의 텍스쳐 정보와 재구성된 이전 프레임의 텍스쳐 정보간의 N×N 블록 단위 움직임 추정을 통해 얻어지는 움직임 벡터 세트들을 부호화하는 방법에 있어서, 상기 현재 프레임의 텍스쳐 정보내 N×N 현재 블록과 상기 재구성된 이전 프레임내 대응하는 P×P 탐색영역내에 존재하는 다수의 N×N 후보 블록간의 블록 매칭을 수행하여 얻어지는 최적 정합 블록간의 현재 움직임 벡터를 추출하는 제 1 단계; 상기 추출된 현재 움직임 벡터를 움직임 벡터 차값 산출을 위한 이전 움직임 벡터로써 저장하고, 상기 이전 움직임 벡터로써 저장되는 각 움직임 벡터에 대응하는 기설정된 다수의 N×N 이전 블록들을 저장하는 제 2 단계; 상기 N×N 현재 블록과 상기 기설정된 다수의 각 N×N 이전 블록간의 사이드 매칭을 통해 서로 대응하는 경계 화소값들간의 총 자승 오차값을 각각 산출하는 제 3 단계; 상기 산출된 총 자승 오차값들을 비교하며, 상기 기설정된 다수의 N×N 이전 블록들중 총 자승 오차값이 가장 작은 이전 블록을 최적 이전 블록으로 결정하는 제 4 단계; 상기 저장된 다수의 이전 움직임 벡터들중 상기 결정된 최적 이전 블록에 대응하는 이전 움직임 벡터를 참조 이전 움직임 벡터로써 인출하는 제 5 단계; 상기 N×N 현재 블록에 대응하는 추출된 현재 움직임 벡터와 상기 참조 이전 움직임 벡터를 감산하여 움직임 벡터 차분값을 생성하는 제 6 단계; 및 상기 생성된 움직임 벡터 차분값을 상기 N×N 현재 블록의 최종 움직임 벡터로써 전송하는 제 7 단계로 이루어진 개선된 텍스쳐 움직임 벡터 부호화 방법을 제공한다.

도 1은 본 발명에 따른 텍스쳐 움직임 벡터 부호화 장치를 적용하는 데 적합한 하이브리드 영상 부호화 시스템의 블록구성도,

도 2는 본 발명의 바람직한 실시예에 따른 개선된 텍스쳐 움직임 벡터 부호화 장치의 블록구성도,

도 3은 도 2에 도시된 블록 결정기의 세부적인 블록구성도,

도 4는 본 발명에 따라 참조되는 인접하는 주변 이전 블록의 일예를 도시한 도면,

도 5는 본 발명에 따라 현재 블록과 이전 블록간의 경계 화소값의 그레이 레벨 왜곡치를 산출하기 위한 블록간 사이드 매칭의 일예를 도시한 도면.

＜도면의 주요부분에 대한 부호의 설명＞

202 : 움직임 추정기 204,208 : 메모리 블록

206 : 블록 결정기 210 : 차분 발생 블록

302 : 자승 오차 산출 블록 304 : 오차값 합산 블록

306 : 비교 블록 308 : 메모리

본 발명의 상기 및 기타 목적과 여러가지 장점은 하기 실시예로 부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

본 발명의 핵심 기술요지는 움직임 벡터에 할당되는 비트량 절감을 위해 현재 블록에서 추출한 움직임 벡터를 그대로 수신측에 전송하지 않고 이전에 추출된 움직임 벡터간의 차값을 산출하여 전송할 때, 전술한 종래기술에서와 같이 추출된 주변 이전 블록의 세 개의 이전 움직임 벡터중 그 중간값을 갖는 이전 움직임 벡터를 참조 움직임 벡터로써 결정하여 현재 움직임 벡터와의 차값을 산출하는 것이 아니라, 현재 블록과 이전 블록(즉, 세 개의 이전 블록)간의 경계 그레이 레벨 왜곡치를 각각 산출하고, 이 왜곡치 산출결과에 의거하여 세 개의 이전 블록들중 결정된 이전 블록의 이전 움직임 벡터를 참조 움직임 벡터로써 결정한다는 것으로, 이러한 기술수단을 통해 본 발명에서 얻고자 하는 목적을 달성할 수 있다.

도 1은 본 발명에 따른 텍스쳐 움직임 벡터 부호화 장치를 적용하는 데 적합한 영상 부호화 시스템의 블록구성도를 나타낸다.

동도면에 도시된 바와같이, 영상 부호화 시스템은, 제 1 프레임 메모리(102), 감산기(104), 텍스쳐 부호화 블록(106), 양자화 블록(108), 가변길이 부호화 블록(VLC)(110), 텍스쳐 복원 블록(112), 가산기(114), 제 2 프레임 메모리(116), 움직임 추정 블록(ME)(118) 및 움직임 보상 블록(MC)(120)을 포함한다.

도 1을 참조하면, 먼저, 제 1 프레임 메모리(102)에는 도시 생략된 텍스쳐 검출수단을 통해 검출된 부호화하고자 하는 현재 프레임에 대한 텍스쳐 정보(즉, 밝기 정보)가 저장되며, 감산기(104)에서는 라인 L11 을 통해 제 1 프레임 메모리(102)로 부터 제공되는 현재 프레임의 텍스쳐 신호와 후에 상세하게 기술되는 움직임 추정 블록(120)으로 부터 라인 L16 을 통해 제공되는 현재 프레임의 현재 텍스쳐와 재구성된 이전 프레임의 이전 텍스쳐간의 움직임 추정, 보상을 통해 얻어진 예측 텍스쳐 신호(즉, 예측 프레임 신호)를 감산하며, 그 결과 데이터, 즉 텍스쳐간의 차분화소값을 나타내는 에러신호(또는 오차신호)는 다음단의 텍스쳐 부호화 블록(106)에 제공된다.

다음에, 텍스쳐 부호화 블록(106)에서는 이산 코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자화 방법들을 이용함으로서, 감산기(104)로부터 제공되는 텍스쳐 정보 에러신호를 일련의 양자화된 DCT 변환계수들로 부호화한다. 이때, 도 1에서의 도시는 생략되었으나, 텍스쳐 부호화 블럭(106)에서의 에러신호에 대한 양자화는 출력측 전송 버퍼로 부터 제공되는 데이타 충만상태 정보에 따라 결정되는 양자화 파라메터(QP)에 의거하여 그 스텝 사이즈가 조절된다.

다음에, 라인 L12 상의 양자화된 DCT 변환계수들은 가변길이 부호화 블럭(108)과 텍스쳐 복원 블럭(110)으로 각각 보내진다. 여기에서, 가변길이 부호화 블럭(108)에 제공된 양자화된 DCT 변환계수들은 라인 L15를 통해 후술되는 움직임 추정 블록(116)으로부터 제공되는 움직임 벡터 세트(즉, 움직임 벡터 차분값 세트)들과 함께 가변길이 부호화된 다음 원격지 수신측으로의 전송을 위해 도시 생략된 전송기로 전달된다.

한편, 텍스쳐 부호화 블럭(106)으로 부터 텍스쳐 복원 블럭(110)에 제공되는 라인 L12 상의 양자화된 DCT 변환계수들은 역양자화 및 역이산 코사인 변환을 통해 다시 복원된 프레임 신호(즉, 텍스쳐 에러신호)로 변환된 다음, 다음단의 가산기(112)에 제공되며, 가산기(112)에서는 텍스쳐 복원 블럭(110)으로 부터의 복원된 프레임 신호(즉, 텍스쳐 에러신호)와 라인 L16 을 통해 후술되는 움직임 보상 블럭(118)으로 부터 제공되는 예측 프레임 신호를 가산하여 재구성된 이전 프레임 신호를 생성하며, 이와같이 재구성된 이전 프레임 신호는 제 2 프레임 메모리(114)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와같이 갱신되는 재구성된 이전 프레임 신호는 움직임 추정, 보상을 위해 라인 L13을 통해 하기에 기술되는 움직임 추정 블록(116) 및 움직임 보상 블록(118)으로 각각 제공된다.

다른한편, 본 발명에 관련되는 움직임 추정 블록(116)에서는 제 1 프레임 메모리(102)로 부터 제공되는 라인 L11 상의 현재 프레임의 텍스쳐 신호와 상기한 제 2 프레임 메모리(114)로 부터 제공되는 라인 L13 상의 재구성된 이전 프레임의 텍스쳐 신호에 의거하여, 라인 L11 상의 현재 프레임에 대한 현재 N×N 블록과 라인 L13 상의 재구성된 이전 프레임내 P×P 탐색영역의 다수의 N×N 이전 블록간의 블록 매칭을 통해 움직임을 추정하며, 이러한 움직임 추정을 통해 얻어지는 움직임 벡터 세트들은 라인 L14를 통해 예측 프레임 신호를 생성하는 움직임 보상 블록(118)으로 제공된다.

또한, 움직임 추정 블록(116)에서는 현재 블록에 대한 움직임 벡터가 추출되면, 주변 이전 블록들에서 기추출된 움직임 벡터들중 어느 하나를 참조 움직임 벡터로써 결정하여 현재 움직임 벡터와 참조 움직임 벡터간의 차값을 산출한 다음 도시 생략된 전송기로의 송신을 위해 라인 L15를 통해 전술한 가변길이 부호화 블록(108)으로 제공한다.

이때, 움직임 추정 블록(116)에서는, 본 발명에 따라, 현재 블록과 이전 블록(즉, 세 개의 이전 블록)간의 경계 그레이 레벨 왜곡치를 각각 산출하고, 이 왜곡치 산출결과에 의거하여 세 개의 이전 블록들중 결정된 이전 블록의 이전 움직임 벡터를 참조 움직임 벡터로써 결정하는 데, 이와같이 참조 움직임 벡터를 결정하는 구체적인 과정에 대해서는 그 세부적인 상세 블록을 도시한 도 2를 참조하여 후에 상세하게 기술될 것이다.

다음에, 움직임 보상 블록(118)에서는 라인 L13을 통해 제 2 프레임 메모리(114)에서 제공되는 재구성된 이전 프레임 신호 및 L14를 통해 움직임 추정 블록(116)에서 제공되는 움직임 벡터들에 의거하는 움직임 보상을 수행하여 예측 프레임 신호를 생성하며, 여기에서 생성된 예측 프레임 신호는 라인 L16을 통해 전술한 감산기(104) 및 가산기(112)로 각각 제공된다.

따라서, 상술한 바와같은 과정을 통해 영상의 텍스쳐 정보(즉, 밝기 정보)들이 소정의 비트 레이트로 압축 부호화되며, 이와같이 부호화된 텍스쳐 정보들은 다른 부호화 경로 등을 통해 부호화된 윤곽 정보, 오디오 정보, 텍스트 정보 등과 함께 다중화 되어 수신측으로 전송될 것이다.

다음에, 상술한 바와같은 구성을 갖는 부호화 시스템에 적용할 수 있는 본 발명에 따른 텍스쳐 움직임 추정 장치에 대하여 설명한다.

도 2는 상술한 바와같은 구성을 갖는 영상 부호화 시스템에 적용하는 데 적합한 본 발명의 바람직한 실시예에 따른 개선된 텍스쳐 움직임 벡터 부호화 장치의 블록구성도를 나타낸다.

동도면에 도시된 바와같이, 본 발명의 움직임 벡터 부호화 장치는 움직임 추정기(202), 제 1 메모리 블록(204), 블록 결정기(206), 제 2 메모리 블록(208) 및 차분 발생 블록(210)을 포함한다.

도 2를 참조하면, 움직임 추정기(202)에서는 라인 L11을 통해 도 1의 제 1 프레임 메모리(102)에서 제공되는 현재 프레임의 텍스쳐 신호와 라인 L13을 통해 도 1의 제 2 프레임 메모리(114)에서 제공되는 재구성된 이전 프레임의 텍스쳐 신호에 의거하여, N×N 블록 단위로 움직임을 추정, 즉 현재 프레임의 N×N 블록(즉, 8×8 블록, 16×16 블록 등)과 라인 L13을 통해 도 1의 제 2 프레임 메모리(114)에서 제공되는 재구성된 이전 프레임의 P×P 탐색영역(예를들면, 16×16 영역, 32×32 영역 등)내 다수의 N×N 후보 블록간의 블록 매칭을 수행하여 다수의 N×N 후보 블록들중 그 오차가 가장 작은 최적 정합 블록을 결정하며, 현재 블록과 결정된 후보 블록간의 변위값을 움직임 벡터로서 추출하여 라인 L14를 통해 도 1의 움직임 보상 블록(118)으로 제공한다.

또한, 움직임 추정기(202)는 추출된 현재 블록의 움직임 벡터를 라인 L21을 통해 제 2 메모리 블록(208) 및 후술하는 차분 발생 블록(210)으로 각각 제공하며, 현재 블록에 대해 결정된 정합 블록 데이터(즉, 이전 블록 데이터)를 라인 L22를 통해 제 1 메모리 블록(204)으로 제공한다. 여기에서, 라인 L21 상에 제공되는 현재 움직임 벡터는 다수의 이전 움직임 벡터들(즉, 세 개의 이전 움직임 벡터)중에서 결정되는 참조 움직임 벡터와의 차분 산출을 위해 제공되며, 라인 L22 상에 제공되는 이전 블록 데이터는 세 개의 이전 블록과 현재 블록간의 경계 화소값의 그레이 레벨 왜곡치 산출을 위한 데이터로서 제공된다.

따라서, 제 1 메모리 블록(204)에는 현재 움직임 벡터에서 전송을 위한 움직임 벡터 차값을 산출하는 데 필요로 하는 세 개의 이전 움직임 벡터에 대응하는 이전 블록 데이터들이 저장되며, 제 2 메모리 블록(208)에는 현재 움직임 벡터에서 전송을 위한 움직임 벡터 차값을 산출하는 데 필요로 하는 적어도 세 개의 이전 움직임 벡터가 저장된다.

다음에, 블록 결정기(206)에서는, 사이드 매칭 기법을 이용하여, 라인 L11 상의 N×N 현재 블록과 라인 L23을 통해 제 1 메모리 블록(204)에서 제공되는 이전 블록, 즉 세 개의 이전 블록간의 경계 화소값의 그레이 레벨 왜곡치를 산출하고, 이 산출결과에 의거하여 세 개의 이전 블록중 현재 블록에 대응하는 최적 이전 블록을 결정, 일예로서 도 4에 도시된 바와같이, 현재 블록에서 추출한 움직임 벡터가 MVC 이고 참조하고자 하는 주변의 이전 움직임 벡터가 MV1, MV2, MV3 라고 가정할 때 MVC 에 대응하는 현재 블록과 MV1, MV2, MV3 에 각각 대응하는 각 이전 블록간의 사이드 매칭을 통해 최적 이전 블록을 결정하며, 이 결정된 최적 이전 블록의 이전 움직임 벡터를 인출하기 위한 제어신호, 즉 이전 움직임 벡터 인출을 위한 판독 인에이블 신호를 발생하여 라인 L24를 통해 제 2 메모리 블록(208)으로 제공한다.

이러한 블록 결정기(206)에서의 구체적인 과정에 대해서는 그 세부적인 상세 블록을 도시한 도 3을 참조하여 상세하게 설명한다.

도 3은 도 2에 도시된 블록 결정기의 세부적인 블록구성도로써, 자승 오차 산출 블록(302), 오차값 합산 블록(304), 비교 블록(306) 및 메모리(308)를 포함한다.

도 3을 참조하면, 자승 오차 산출 블록(302)에서는 라인 L11 상의 N×N 현재 블록의 각 경계 화소값들(즉, 도 5에 도시된 MVC 의 우측 및 상측 경계 화소값들)과 라인 L23을 통해 제 1 메모리 블록(204)에서 제공되는 이전 블록의 대응하는 각 경계 화소값들(즉, 도 5에 도시된 MVn 의 좌측 및 하측 경계 화소값들)간의 자승 오차를 각각 산출, 즉 서로 대응하는 현재 블록과 이전 블록의 경계 화소값들간의 자승 오차를 각각 산출하며, 여기에서 산출된 각 자승 오차값은 다음단의 오차값 합산 블록(304)으로 제공된다.

다음에, 오차값 합산 블록(304)에서는 현재 블록과 이전 블록간의 경계 화소값들의 자승 오차값을 가산하여 총 자승 오차값을 연산, 즉 MVn 에 대응하는 현재 블록과 MV1, MV2, MV3 에 각각 대응하는 이전 블록간의 총 자승 오차값을 각각 연산하며, 이와같이 순차 연산되는 총 자승 오차값들은 메모리(308)의 소정 영역에 각각 저장된다.

또한, 오차값 합산 블록(304)에서는 하나의 현재 블록에 대한 세 개의 이전 블록간의 총 자승 오차값이 모두 산출되면, 각각 산출된 이들 총 자승 오차값을 비교하고, 비교결과 그 값이 가장 작은 이전 블록을 세 개의 이전 블록중 최적 이전 블록으로 결정하며, 이 결정된 최적 이전 블록의 이전 움직임 벡터를 인출하기 위한 제어신호, 즉 이전 움직임 벡터 인출을 위한 판독 인에이블 신호를 라인 L24 상에 발생하여 제 2 메모리 블록(208)으로 제공한다.

따라서, 도 2의 제 2 메모리 블록(208)에서는 기저장된 다수의 이전 움직임 벡터들중 라인 L24로부터 제공되는 판독 인에이블 신호에 대응하는 이전 움직임 벡터를 인출, 예를들어 현재 움직임 벡터 MVn 가 13이고 세 개의 이전 움직임 벡터 MV1, MV2, MV3 가 각각 -9, 0, 15 이며, MV3 에 대응하는 이전 블록이 최적 이전 블록으로 결정될 때 이전 움직임 벡터 15를 인출하여 차분 발생 블록(210)으로 제공하게 된다.

한편, 차분 발생 블록(210)에서는 라인 L21을 통해 전술한 움직임 추정기(202)로부터 제공되는 N×N 현재 블록의 현재 움직임 벡터와 제 2 메모리 블록(208)으로부터 제공되는 N×N 이전 프레임의 이전 움직임 벡터간의 감산을 통해 움직임 벡터 차분값을 추출한다. 즉, 현재 움직임 벡터가 13이고, 이에 대응하는 이전 움직임 벡터가 15일 때 그들간의 차값 2를 산출하여 N×N 현재 블록의 움직임 벡터로써 라인 L15를 통해 도 1의 가변길이 부호화 블록(108)으로 제공한다.

따라서, 도 1의 가변길이 부호화 블록(110)에서는 라인 L12를 통해 제공되는 양자화된 DCT 계수들의 세트들과 함께 라인 L15를 통해 제공되는 영상의 텍스쳐 정보들에 대한 N×N 블록 단위의 움직임 벡터 차분값을 가변길이 부호화하며, 이와같이 양자화된 텍스쳐에 대한 데이터값과 움직임 벡터 차분값을 포함하는 가변길이 부호화된 디지탈 영상신호는 도시 생략된 전송기로 송신될 것이다.

이상 설명한 바와같이 본 발명에 따르면, 종래 방법에서와 같이 추출된 주변 이전 블록의 세 개의 이전 움직임 벡터중 그 중간값을 갖는 이전 움직임 벡터를 참조 움직임 벡터로써 결정하여 현재 움직임 벡터와의 차값을 산출하지 않고, 현재 블록과 이전 블록(즉, 세 개의 이전 블록)간의 경계 그레이 레벨 왜곡치에 대한 산출결과에 의거하여 세 개의 이전 블록들중 결정된 이전 블록의 이전 움직임 벡터를 참조 움직임 벡터로써 결정하도록 함으로써, 하이브리드 부호화 기법을 갖는 텍스쳐 정보의 부호화시에 발생하는 움직임 벡터들에 의한 비트 발생량을 현저하게 저감시킬 수 있다.

Claims

프레임내 텍스쳐 정보에 존재하는 공간축상의 상관도와 프레임간 텍스쳐 정보에 존재하는 시간축상의 상관도를 이용하여 입력 프레임 신호를 압축 부호화하는 부호화 시스템에서 현재 프레임의 텍스쳐 정보와 재구성된 이전 프레임의 텍스쳐 정보간의 N×N 블록 단위 움직임 추정을 통해 얻어지는 움직임 벡터 세트들을 부호화하는 장치에 있어서,

상기 움직임 벡터 부호화 장치는:

상기 현재 프레임의 텍스쳐 정보내 N×N 현재 블록과 상기 재구성된 이전 프레임내 대응하는 P×P 탐색영역내에 존재하는 다수의 N×N 후보 블록간의 블록 매칭을 수행하여 얻어지는 최적 정합 블록간의 움직임 벡터를 추출하는 움직임 추정기;

상기 움직임 추정기로부터 제공되는 추출된 움직임 벡터들을 움직임 벡터 차값 산출을 위한 이전 움직임 벡터로써 저장하는 제 1 메모리 블록;

상기 제 1 메모리 블록에 저장되는 이전 움직임 벡터에 대응하는 기설정된 다수의 이전 블록들을 상기 움직임 추정기로부터 제공받아 저장하는 제 2 메모리 블록;

상기 N×N 현재 블록과 상기 제 2 메모리 블록으로부터 제공되는 기설정된 인접하는 주변 이전 블록들간의 경계 화소값의 그레이 레벨 왜곡치를 각각 산출하고, 이 산출된 왜곡치에 의거하여 상기 기설정된 다수의 이전 블록중 최적 이전 블록을 결정하며, 상기 저장된 다수의 이전 움직임 벡터들중 상기 결정된 최적 이전 블록에 대응하는 이전 움직임 벡터를 참조 이전 움직임 벡터로써 인출하기 위한 제어신호를 발생하여 상기 제 1 메모리 블록으로 제공하는 블록 결정기; 및

상기 움직임 추정기로부터 제공되는 현재 움직임 벡터와 상기 인출 제어신호에 응답하여 상기 제 2 메모리 블록으로부터 판독되는 상기 참조 이전 움직임 벡터간의 감산을 통해 각 N×N 현재 블록의 움직임 벡터 차분값을 각각 추출하는 차분 발생 블록을 포함하며,

상기 영상 부호화 시스템은, 상기 움직임 벡터 차분값 세트들과 상기 압축 부호화된 프레임내 텍스쳐 정보들을 가변길이 부호화하는 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 부호화 장치.
제 1 항에 있어서, 상기 블록 결정기는:

상기 N×N 현재 블록과 상기 제 2 메모리 블록으로부터 제공되는 기설정된 주변 N×N 이전 블록간에 서로 대응하는 경계 화소값들의 자승 오차를 각각 산출하는 자승 오차 산출 블록;

상기 산출된 자승 오차값을 한 블록 단위로 가산하여 기설정된 각 블록의 단위 총 자승 오차값을 각각 연산하는 오차값 합산 블록; 및

상기 연산된 각각의 총 자승 오차값을 비교하고, 그 비교결과에 의거하여 기저장된 다수의 이전 블록중 총 자승 오차값이 가장 작은 이전 블록을 상기 최적 이전 블록으로 결정하며, 이 결정된 최적 이전 블록에 의거하여 상기 참조 이전 움직임 벡터를 인출하기 위한 제어신호를 발생하는 출력 결정 수단으로 구성된 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 부호화 장치.
제 2 항에 있어서, 상기 자승 오차 산출 블록은, 상기 N×N 현재 블록의 경계 화소값들은, 대응하는 이전 블록측에 인접하는 한 행과 한 열의 경계 화소값들인 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 부호화 장치.
제 2 항에 있어서, 상기 출력 결정 수단은, 상기 N×N 현재 블록에 인접하는 주변 세 개의 N×N 이전 블록중 한 이전 블록을 상기 최적 이전 블록으로 결정하는 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 부호화 장치.
제 4 항에 있어서, 상기 기설정된 세 개의 N×N 이전 블록은, 상기 N×N 현재 블록의 우측에 있는 인접 이전 블록, 상기 N×N 현재 블록의 상측에 있는 인접 이전 블록 및 상기 상측 인접 이전 블록의 우측에 있는 인접 이전 블록인 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 부호화 장치.
프레임내 텍스쳐 정보에 존재하는 공간축상의 상관도와 프레임간 텍스쳐 정보에 존재하는 시간축상의 상관도를 이용하여 입력 프레임 신호를 압축 부호화하는 부호화 시스템에서 현재 프레임의 텍스쳐 정보와 재구성된 이전 프레임의 텍스쳐 정보간의 N×N 블록 단위 움직임 추정을 통해 얻어지는 움직임 벡터 세트들을 부호화하는 방법에 있어서,

상기 현재 프레임의 텍스쳐 정보내 N×N 현재 블록과 상기 재구성된 이전 프레임내 대응하는 P×P 탐색영역내에 존재하는 다수의 N×N 후보 블록간의 블록 매칭을 수행하여 얻어지는 최적 정합 블록간의 현재 움직임 벡터를 추출하는 제 1 단계;

상기 추출된 현재 움직임 벡터를 움직임 벡터 차값 산출을 위한 이전 움직임 벡터로써 저장하고, 상기 이전 움직임 벡터로써 저장되는 각 움직임 벡터에 대응하는 기설정된 다수의 N×N 이전 블록들을 저장하는 제 2 단계;

상기 N×N 현재 블록과 상기 기설정된 다수의 각 N×N 이전 블록간의 사이드 매칭을 통해 서로 대응하는 경계 화소값들간의 총 자승 오차값을 각각 산출하는 제 3 단계;

상기 산출된 총 자승 오차값들을 비교하며, 상기 기설정된 다수의 N×N 이전 블록들중 총 자승 오차값이 가장 작은 이전 블록을 최적 이전 블록으로 결정하는 제 4 단계;

상기 저장된 다수의 이전 움직임 벡터들중 상기 결정된 최적 이전 블록에 대응하는 이전 움직임 벡터를 참조 이전 움직임 벡터로써 인출하는 제 5 단계;

상기 N×N 현재 블록에 대응하는 추출된 현재 움직임 벡터와 상기 참조 이전 움직임 벡터를 감산하여 움직임 벡터 차분값을 생성하는 제 6 단계; 및

상기 생성된 움직임 벡터 차분값을 상기 N×N 현재 블록의 최종 움직임 벡터로써 전송하는 제 7 단계로 이루어진 개선된 텍스쳐 움직임 벡터 부호화 방법.
제 6 항에 있어서, 상기 N×N 현재 블록의 경계 화소값들은, 대응하는 이전 블록측에 인접하는 한 행과 한 열의 경계 화소값들인 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 부호화 방법.
제 6 항에 있어서, 상기 방법은, 상기 N×N 현재 블록에 인접하는 주변 세 개의 N×N 이전 블록중 한 이전 블록을 상기 최적 이전 블록으로 결정하는 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 부호화 방법.
제 8 항에 있어서, 상기 기설정된 세 개의 N×N 이전 블록은, 상기 N×N 현재 블록의 우측에 있는 인접 이전 블록, 상기 N×N 현재 블록의 상측에 있는 인접 이전 블록 및 상기 상측 인접 이전 블록의 우측에 있는 인접 이전 블록인 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 부호화 방법.