KR100203626B1

KR100203626B1 - 동영상 물체 부호화기

Info

Publication number: KR100203626B1
Application number: KR1019960005393A
Authority: KR
Inventors: 임종태
Original assignee: 전주범; 대우전자주식회사
Priority date: 1996-02-29
Filing date: 1996-02-29
Publication date: 1999-06-15
Also published as: KR970064258A

Abstract

본 발명은 동영상 물체 기반 부호화에 있어서, 부호화 하고자 하는 물체의 내용정보에 대한 DCT 블록들에 대하여 영상 모드에 따라 가장자리에 위치하는 DCT 블록의 여백 영역의 평균값 삽입과 제로 삽입을 선택적으로 수행함으로써 부호화 효율을 증진시킬 수 있도록 한 동영상 물체 부호화기에 관한 것으로, 이를 위하여 본 발명은, 부호화 하고자 하는 영상 프레임내의 물체에 대해 그 윤곽선과 내용정보를 각각 분리하여 부호화 하는 물체 부호화기에 있어서, 시스템 제어수단으로부터의 제어신호에 의거하여, 현재 부호화 하고자 하는 프레임의 분리된 내용정보의 입력과, 분리된 현재 프레임과 현재 프레임의 내용정보 및 시간축 상에서 현재 프레임에 바로 인접하는 이전 프레임의 내용정보간의 움직임 추정 및 보상을 통해 얻어진 예측 프레임간의 차분신호로서 구성되는 내용정보에 대한 에러신호의 입력을 절환하는 제1스위칭 수단; 분리된 윤곽선 정보에 기초하여 제1스위칭 수단으로부터 제공되는 내용정보를 이루는 N×N 크기의 각 블록들이 윤곽선의 가장자리에 위치하는 지의 여부를 판단하며, 그 가장자리 판단결과에 상응하는 절환 제어신호를 발생하는 물체 영역 판단 수단; 적어도 세개의 가변접점을 가지며, 물체 영역 판단 수단으로부터의 절환 제어신호에 의거하여 세개의 가변접점들과 물체 영역 판단 수단의 출력에 연결된 고정접점간의 연결절환을 수행하는 제2스위칭 수단; 이 제2스위칭 수단내의 세 개의 가변접점 중 어느 하나의 가변접점을 통해, 내용정보에 대한 각 블록들 중 물체 영역내에 위치하는 블록들을 DCT 및 양자화 수단을 포함하는 영상 부호화 수단에 제공하는 제1경로; 제2스위칭 수단내의 세개의 가변접점 중 다른 하나의 가변접점을 통해, 내용정보에 대한 각 블록들 중 물체의 윤곽선 가장자리에 위치하는 해당 블록의 여백부분에 해당 블록의 물체부분에 있는 화소 데이터들의 평균값을 삽입한 다음 DCT 및 양자화 수단을 포함하는 영상 부호화 수단에 제공하는 제2경로; 및 제2스위칭 수단내의 세 개의 가변접점 중 또 다른 하나의 가변접점을 통해, 내용정보에 대한 각 블록들 중 물체의 윤곽선 가장자리에 위치하는 해당 블록의 여백부분에 제로값을 삽입한 다음 DCT 및 양자화 수단을 포함하는 영상 부호화 수단에 제공하는 제2경로를 포함한다.

따라서, 본 발명은 영상의 부호화를 위한 모드인 인트라 모드 또는 인터 모드에 따라 물체 윤곽선의 가장자리에 위치하는 DCT 블록의 여백부분에 대한 평균값 삽입과 제로값 삽입을 선택적으로 적용함으로써, 불필요한 데이터의 발생을 억제하여 영상의 압축 부호화 효율을 증진시킬 수 있는 것이다.

Description

동영상 물체 부호화기

제1도는 본 발명에 따른 동영상 물체 부호하기를 적용하는 데 적합한 동영상 물체 기반 부호화 시스템에 대한 블록 구성도.

제2도는 본 발명의 바람직한 실시예에 따른 동영상 물체 부호화기에 대한 블록구성도.

제3도는 본 발명의 실시예 설명을 위해 물체의 윤곽선 가장자리에 위치하는 블록의 일예를 도시한 것으로, (a)는 물체를 포함하는 프레임 데이터를, (b)는 (a)에 도시된 윤곽선 가장자리 위치 블록에 대한 확대도.

* 도면의 주요부분에 대한 부호의 설명

100 : 윤곽선 부호화 블록 200 : 윤곽선 복호화 블록

300 : 내용정보 부호화 블록 310, 316 : 제1 및 제2스위칭 블록

312 : 감산기 314 : 물체 영역 판단 블록

318 : 평균값 삽입 블록 320 : 제로값 삽입 블록

322 : 영상 부호화 블록 400 : 내용정보 복호화 블록

500 : 움직임 추정/보상 블록

본 발명은 영상신호를 압축 부호화하는 동영상 부호화기에 관환 것으로, 특히 윤곽선(contour) 정보와 내용(content) 정보를 분리하여 그 정보 특성에 따라 각각 부호화하는 저전송율의 물체 기반 영상 부호화기법에서 내용정보를 압축 부호화하는 동영상 물체 부호화기에 관한 것이다.

이 기술분야에 잘 알려진 바와 같이, 이산화된 영상신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 영상신호가 디지털 형태로 표현될 때, 특히 고품질 텔레비젼(HDTV)의 경우 상당한 양의 전송 데이터가 발생하게 된다. 그러나, 종래의 전송 채널의 사용가능한 주파수 영역이 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송하고자 하는 데이터를 압축하여 그 전송량을 줄일 필요가 있다.

따라서, 송신측의 부호화 시스템에서는 영상신호를 전송할 때 그 전송되는 데이터량을 줄이기 위하여 영상신호가 갖는 공간적, 시간적인 상관성을 이용하여 압축 부호화한 다음 전송채널을 통해 압축 부호화된 영상신호를 수신측의 복호화 시스템에 전송하게 된다.

한편, 영상신호를 부호화하는데 주로 이용되는 다양한 압축 기법으로서는 확률적 부호화기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

상기한 부호화 기법중의 하나인 대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화)등을 이용한다. 여기에서 움직임보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다.이러한 방법은, 예를 들어 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform coding, IEEE Transactions on communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO. 1(1982년, 1월)에 기재되어 있다.

보다 상세하게, 움직임보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측하는 것이다. 여기에서 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다. 여기에서, 물체의 화소 변위는 잘 알려진 바와 같이, 소정크기(예를 들면, 8×8 크기)의 블록단위로 현재 프레임의 블록을 이전 프레임의 블록들과 비교하여 최적 정합블록을 결정하여 입력되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)를 추정하는 블록단위 움직임 추정기법과 각 화소단위로 현재 프레임의 화소값을 이전 프레임의 화소값들로부터 추정하여 보상하는 화소단위 움직임 추정기법 등을 통해 추정할 수가 있을 것이다.

따라서, 송신측에서는 영상신호를 전송할 때 상술한 바와 같은 부호화 기법을 통해 블록단위 또는 화소단위로 영상신호가 갖는 공간적, 시간적인 상관성을 고려해 압축 부호화하여 출력측의 버퍼에 차례로 저장하게 되며, 이와 같이 저장된 부호화된 영상데이터는 채널의 요구에 부응하여 소망하는 비트 레이트로 전송채널을 통해 수신측의 복호화 시스템에 전송될 것이다.

보다 상세하게, 송신측의 부호화 시스템에서는 이산 코사인 변환(DCT) 등의 변환부호화를 이용하여 영상신호의 공간적인 중복성을 제거하고, 또한 움직임 추정, 예측 등을 통한 차분부호화를 이용하여 영상신호의 시간적인 중복성을 제거함으로써, 영상신호를 효율적으로 압축하게 된다.

통상적으로, 상술한 바와 같은 DPCM/DCT 하이브리드 부호화기법은 목표 비트레이트가 Mbps급이고, 그 응용분야로서 CD-ROM, 컴퓨터, 가전제품(디지탈 VCR 등), 방송(HDTV) 등이 될 수 있으며, 세계 표준화기구에 의해 표준안이 이미 완성된, 영상내의 블록단위 움직임의 통계적 특성만을 주로 고려하는, 고전송율의 부호화에 관한 MPEG 1, 2 및 H.261 부호화 알고리즘 등에 주로 관련된다.

한편, 최근들어 PC의 성능 향상과 보급 확산, 디지털 전송기술의 발전, 고화질 디스플레이 장치의 실현, 메모리 디바이스의 발달 등으로 가전제품을 비롯한 각종 기기들이 방대한 데이터를 가진 영상 정보를 처리하고 제공할 수 있는 기술중심으로 재편되고 있는 실정이며, 이러한 요구를 충족시키기 위하여 비트레이트가 kbps급인 기존의 저속 전송로(예를 들면, PSTN, LAN, 이동 네트워크 등)를 통한 오디오-비디오 데이터의 전송과 한정된 용량의 저장장치로의 저장을 위해 고압축율을 가진 새로운 부호화 기술을 필요로 하고 있다.

그러나, 상술한 바와 같은 기존의 동영상 부호화기법들은 이동 물체의 모양과 전역 움직임(global motion) 등과는 관계없이 전체 영상에서 지역적인 블록움직임에 근거하고 있다. 따라서, 기존의 동영상 부호화기법들은 저전송율에서 블록별 이동 보상 부호화를 적용하는 경우, 블록화 현상, 모서리 떨림 현상, 반점 현상 등과 같은 화질 저하가 최종 복원되는 재생 영상에 나타나게 된다. 또한, 저전송율의 영상 전송을 위해 해상도를 유지하려면 영상 데이터의 고 압축율이 필요한데, 대략 40:1 정도의 압축율을 갖는 기존의 DCT 변환에 기초한 부호화기법으로는 그 구현이 불가능하다는 문제가 있다.

따라서, 현재로서는 기존의 DCT 변환에 기초한 부호화기법에 비해 대략 4:1 정도의 추가 압축 실현을 위한 부호화기법의 표준이 필요한 실정이며, 이러한 시대적인 필요 욕구에 따라 최근 인간의 시각특성에 바탕을 두고 주관적 화질을 중요시하는 MPEG4의 표준안 제정을 위한 저전송율 동영상 부호화기법에 대한 연구가 도처에서 활발히 진행되고 있다.

이러한 필요 충족을 위해 현재 연구되고 있는 실현 가능한 유력한 저전송율 동영상 부호화 기법들로서는, 예를 들면, 기존의 부호화기법을 향상시키고자 하는 파형 기반 부호화(Wave-Based Coding), 모델 기반 부호화(Model-Based Coding)의 일종에 속하는 동영상 물체 기반 부호화(Object-Based Coding), 영상을 복수개의 부블록으로 분할하여 부호화하는 분할 기반 부호화(Segmentation-Based Coding), 영상의 자기유사성을 이용하는 프렉탈 부호화(Fractal Coding) 등이 있다. 여기에서, 본 발명은 동영상 물체 기반 부호화기법의 개선에 관련된다.

이 기술분야에 잘 알려진 바와 같이, 동영성 물체기반 부호화는 화소의 값이 비슷한 영역으로 영상을 구분한 후(예를 들면, 물체와 배경 등), 그 경계를 나타내는 윤곽선(contour)과 해당 영역(물체)의 내용정보(content)를 따로 부호화하는 방법이다. 여기에서, 물체의 윤곽선 검출은, 이 기술분야에 잘 알려진 바와 같이, 원영상의 밝기분포를 이용하여 에지를 검출함으로서 이루어진다. 그런데, 윤곽선과 내용정보(밝기 정보)는 그 성질이 전혀 다른 정보이므로 그 부호화방법이 서로 독립적이다. 따라서 부호화시에 윤곽선과 그 밝기 정보는 각각 분리되어 부호화된 다음 멀티플렉서를 통해 다중화되어 전송된다.

한편, 종래의 물체의 내영정보를 부호화하는 기법에 있어서, 일예로서 제3도(a)에 도시된 바와 같이 8×8 단위의 주파수 영역의 DCT 블록(DB)이 윤곽선 부분(DCT 블록이 물체(Sb) 영역과 여백(model failure : MF) 영역 사이에 존재)에 위치하는 경우, 이러한 부분의 DCT 블록(DB)들에 대해서는, 이 기술분야에 잘 알려진 바와 같은, 제로(0) 스터핑(stuffing)기법, 평균값 스터핑 기법 등을 통해 DCT를 수행한다.

즉, 상기한 내용정보 부호화기법 중 제로 스터핑 기법은, 일예로서 DCT 블록이 제3b도(동도 (a)에서 DB 부분을 확대한 도면)에 도시된 바와 같이 윤곽선 부분에 위치하는 경우, 물체부분(A1)(동도에서 실선으로 도시되고 사선으로 채워짐) 이외의 다른 영역(여백 부분 : A2)(동도에서 점선으로 도시됨)에 제로(0)를 채워 넣은 다음 DCT를 행하는 방식인 것으로, 이러한 기법의 경우 물체 영역과 여백 영역 사이의 경계에 기인하는 고주파 성분이 다량 발생하게 되어 실제 할당되는 비트수가 증가함으로서 결과적으로 부호화의 압축효율이 저하된다는 단점을 갖는다.

한편, 상기한 동영상 물체 기반 부호화기법에 있어서, 평균값 스터핑 기법은, 물체 영역(제3b도의 A1)의 평균 화소 데이터값을 여백 영역(제3b도의 A2)에 채워넣은 다음 DCT를 행하는 방식인 것으로, 이러한 기법의 경우 부호화하고자 하는 영상 모드가 인트라 모드(공간축상의 중복성을 제거하는 압축 보호화 모드)인 블록의 경우 어느 정도의 부호화 효율을 기대할 수 있으나, 영상 모드가 인터 모드(시간축상 및 공간축상의 중복성을 제거하는 압축 보호화 모드)인 블록(움직임 보상이 잘 된 블록)의 경우 제로값이 아닌 데이터가 인트라 모드 블록에 비해 훨씬 적게 존재하는 데도 불구하고 나머지 데이터를 평균값으로 태워줌으로써, 전송해야 할 데이터량이 증가되어 결과적으로 부호화의 효율이 저하된다는 단점을 갖는다.

따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 동영상 물체 기반 부호화에 있어서, 부호화 하고자 하는 물체의 내용정보에 대한 DCT 블록들에 대하야 영상 모드에 따라 가장자리에 위치하는 DCT 블록의 여백 영역의 평균값 삽입과 제로 삽입을 선택적으로 수행함으로써 부호화 효율을 증진시킬 수 있는 동영상 물체 부호화기를 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명은, 부호화 하고자 하는 영상 프레임내의 물체에 대해 그 윤곽선과 내용정보를 분리한 다음, 분리된 윤곽선 정보와 그 내용정보를 서로 다른 경로를 통해 부호화하며, DCT, 양자화 및 움직임 보상수단을 통해 상기 내용정보를 N×N 크기의 블록단위로 압축 부호화하는 동영상 물체 부호화기에 있어서, 시스템 제어수단으로부터의 제어신호에 의거하여, 현재 부호화하고자 하는 프레임의 상기 분리된 내용정보의 입력과, 상기 분리된 현재 프레임과 상기 현재 프레임의 내용정보 및 시간축 상에서 상기 현재 프레임에 바로 인접하는 이전 프레임의 내용정보간의 움직임 추정 및 보상을 통해 얻어진 예측 프레임간의 차분신호로서 구성되는 내용정보에 대한 에러신호의 입력을 절환하는 제1스위칭 수단; 상기 분리된 윤곽선 정보에 기초하여 상기 제1스위칭 수단으로부터 제공되는 내용정보를 이루는 N×N 크기의 각 블록들이 상기 윤곽선의 가장자리에 위치하는 지의 여부를 판단하며, 그 가장자리 판단결과에 상응하는 절환 제어신호를 발생하는 물체 영역 판단 수단; 적어도 세개의 가변접점을 가지며, 상기 물체 영역 판단 수단으로부터의 절환 제어신호에 의거하여 상기 세개의 가변접점들과 상기 물체 영역 판단수단의 출력에 연결된 고정접점간의 연결절환을 수행하는 제2스위칭 수단; 상기 제2스위칭 수단내의 세 개의 가변접점 중 어느 하나의 가변접점을 통해, 상기 내용정보에 대한 각 블록들중 상기 물체 영역내에 위치하는 블록들을 상기 DCT 및 양자화 수단을 포함하는 영상 부호화 수단에 제공하는 제1경로; 상기 제2스위칭 수단내의 세 개의 가변접점 중 다른 하나의 가변접점을 통해, 상기 내용정보에 대한 각 블록들 중 상기 물체의 윤곽선 가장자리에 위치하는 해당 블록의 여백부분에 해당 블록의 물체부분에 있는 화소 데이터들의 평균값을 삽입한 다음 상기 DCT 및 양자화 수단을 포함하는 영상 부호화 수단에 제공하는 제2경로; 및 상기 제2스위칭 수단내의 세 개의 가변접점 중 또 다른 하나의 가변접점을 통해, 상기 내용정보에 대한 각 블록들 중 상기 물체의 윤곽선 가장자리에 위치하는 해당 블록의 여백부분에 제로값을 삽입한 다음 상기 DCT 및 양자화 수단을 포함하는 영상 부호화 수단에 제공하는 제2경로로 이루어진 동영상 물체 부호화기를 제공한다.

본 발명의 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

제1도는 본 발명에 따른 동영상 물체 부호화기를 적용하는데 적합한 동영상 물체 기반 부호화 시스템에 대한 블록구성도를 나타낸다. 동도면에 도시된 바와 같이, 전형적인 동영상 물체 기반 부호화 시스템은 윤곽선 부호화 블록(100), 윤곽선 복호화 블록(200), 내용정보 부호화 블록(300), 내용정보 복호화 블록(400) 및 움직임 추정/보상 블록(500)을 포함한다.

먼저, 본 발명의 동영상 물체 부호화기는, 물체의 내용정보 중 소정의 크기를 갖는 블록(예를 들면, DCT 블록)이 윤곽선 영역에 걸쳐질 때, 즉 제3a도에 일예로서 도시된 바와 같이, 해당 블록(DB)이 물체 영역(Sb)과 여백 영역(MF)이 교차하는 부분에 존재할 때 영상의 부호화 모드에 따라 해당 블록내의 여백 영역부분(제3b도의 A2)에 제로값을 채워 넣거나 해당 블록내의 물체 영역부분(A1)의 화소 데이터 값을 평균한 평균값을 채워 넣은 다음 DCT 및 양자화 등의 부호화를 수행한다는 데 가장 큰 기술적인 특징을 갖는다. 이를 위해, 본 발명의 동영상 물체 부호화기에서는 인트라 모드시에 해당 블록내의 여백 영역부분(제3b도의 A2)에 평균값을 채워 넣고, 인터 모드시에 해당 블록내의 여백 영역부분(제3b도의 A2)에 제로 값을 채워 놓는 기술적 수단을 채용한다.

제1도에 있어서, 윤곽선 부호화 블록(100)은, 부호화하고자 하는 입력 영상 프레임내의 물체(제3a도의 Sb)에 대한 윤곽선 정보를 부호화하는 것으로, 윤곽선상의 임의의 한 점에서 시작하여 화소들간의 연결상태에 따라 경계선을 일정한 방향으로 방향벡터들의 순열로써 나열해 가면서 부호화 하는 체인 부호화등의 기법을 통해 구현될 수 있으며, 이러한 방법은 이미 이 기술분야에 잘 알려진 공지기술이므로 여기에서의 상세한 기술은 생략한다. 따라서, 윤곽선 부호화 블록(100)에서 부호화된 윤곽선 데이타는 라인 L12를 통해 도시 생략된 전송기로 보내져 후술되는 그 내용정보(밝기 정보)와 함께 전송채널을 통해 원격지의 수신기로 전송될 것이다.

이 때, 상기한 윤곽선 부호화 블록(100)에 있어서 영상내의 물체(object)에 대한 윤곽선 정보는 원영상의 밝기분포, 즉 영상의 휘도레벨을 이용한 에지 검출 등을 통해 검출할 수 있으며, 여기에서의 에지검출은, 이미 이 기술분야에 잘 알려진 바와 같이, 인접하는 화소간의 휘도신호의 레벨차와 기설정된 소정의 임계값과의 비교를 통해 이루어지며, 화소간의 휘도신호의 레벨차가 임계값보다 크면 에지인 것으로 판단된다.

또한, 윤곽선 복호화 블록(200)은, 상기한 바와 같이, 체인 부호화 기법 등을 통해 부호화된 물체(제3a도의 Sb)에 대한 윤곽선 데이터를 부호화되기 이전의 원신호로 복원하는 기능을 수행하는 것으로, 이와 같이 복원된 물체에 대한 영상 데이터는, 라인 L13을 통해 내용정보 부호화 블록(300)으로 제공되어 후술되는 내용정보 부호화시에 적응적 부호화를 위해 이용될 것이다.

한편, 내용정보 부호화 블록(300)은, 영상의 부호화 모드에 따라 물체의 각 블록에 대한 압축 부호화를 수행, 즉 DCT, 양자화 등의 알고리즘을 적용하여 영상 데이터를 소망하는 비트 레이트로 압축 부호화한다. 이 때, 내용정보 부호화 블록(300)은, 물체의 내용정보에 대한 부호화 시에 특정 블록이, 일예로서 제3a도에 참조부호 DB로서 표시된 바와 같이, 물체 영역과 여백 영역 사이에 존재할 때, 해당 블록(DB)에 대해 현재 부호화 모드가 인트라 모드이면 해당 블록(DB)내의 여백 영역부분(A2)에 평균값을 채워 넣고, 인터 모드이면 해당 블록(DB)내의 여백 영역부분(A2)에 제로값을 채워 넣은 다음 DCT 등의 압축 부호화를 수행하며, 이와 같이 부호화된 영상 데이터는 라인 L14를 통해 도시 생략된 전송기로 보내짐과 동시에 내용정보 복호화 블록(400)으로 제공된다. 이와 같은 내용정보 부호화 블록(300)의 구체적인 동작에 대해서는 그의 세부적이 블록구성을 보여주는 제2도를 참조하여 후에 상세하게 기술될 것이다. 물론, 제1도에서의 도시는 생략되었으나. 부호화된 내용정보 데이터는, 전송기로 전달되기에 앞서, 가변길이 부호화 및 엔트로피 부호화 등의 기법을 통해 소망하는 압축율로 부호화 되는 과정을 경유하게 될 것이다.

다른 한편, 내용정보 복호화 블록(400)은, 라인 L14를 통해 상기한 내용정보 부호화 블록(300)으로부터 제공되는 압축 부호화된 내용정보 데이타(또는 전체 영상 데이터 : 인트라 모드시)를 부호화되기 이전의 원신호로 복원하는 기능을 수행하는 것으로, 제1도에서의 도시는 생략되었으나, 라인 L14상의 부호화된 입력신호는 역양자화 및 IDCT 등의 기법에 의거하여 원신호로 복원되고, 이와 같이 복원된 내용정보의 에러신호(또는 전체 영상정보의 에러신호 : 시간축상의 중복성이 제거를 위해 움직임 추정, 보상을 수행한 물체 영역에 대한 프레임 블록)는 라인 L16을 통해 후술되는 움직임 추정/보상 블록(500)으로부터 제공되는 예측 프레임신호(물체 영역의 예측 프레임신호 또는 전체 영상의 예측 프레임신호)와의 가산을 통해 완전한 이전 프레임신호로 재구성되며, 이러한 재구성된 이전 프레임 신호는 움직임 추정, 보상을 위한 이전 프레임 신호로써 라인 L15를 통해 다음 단의 움직임 추정/보상 블록(500)에 제공될 것이다.

한편, 움직임 추정/보상 블록(500)에서는, 라인 L11상의 현재 프레임 신호와 라인 L15상의 재구성된 이전 프레임신호를 이용하여 시간축상의 중복성 제거를 위한 예측 프레임신호를 라인 L16상에 발생한다. 보다 상세하게, 움직임 추정/보상 블록(500)은, 이 기술분야에 잘 알려진 바와 같이 , 소정 크기의 블록단위(예를 들면, 8×8 블록)로 현재 프레임의 각 불록값들을 재구성된 이전 프레임의 블록값들로부터 추정하여 보상하는 블록 매칭 알고리즘 또는 화소단위로 현재 프레임의 각 화소값들을 재구성된 이전 프레임의 화소값들로부터 추정하여 보상하는 화소순환 알고리즘 등을 통해 예측 프레임신호를 생성할 수 있으며, 이와 같이 생성된 예측 프레임신호는 라인 L16을 통해 전술한 내용정보 부호화 블록(300) 및 내용정보 복호화 블록(400)으로 제공될 것이다. 또한, 움직임 추정/보상 블록(500)은 라인 L15상에 블록간의 변위 벡터(현재 프레임의 블록과 이전 프레임의 가장 유사한 블록간의 움직임 정보) 또는 화소간의 변위 벡터(현재 프레임의 화소와 이전 프레임의 가장 유사한 화소간의 움직임 정보)를 나타내는 움직임 벡터들의 세트를 발생하여 도시 생략된 가변길이 부호화기에 제공한다.

따라서, 라인 L14상의 압축 부호화된 내용정보 데이타와 라인 L15상의 움직임 벡터들의 세트는 도시 생략된 가변길이 부호화기를 통해 가변길이 부호화되고 엔트로피 부호화될 것이며, 이와 같이 부호화된 내용정보 데이터는 최종적으로 도시 생략된 전송기로 보내져 전술한 윤곽선 부호화 블록(100)을 통해 압축 부호화된 윤곽선 데이터와 함께 전송채널을 통해 원격지의 수신기로 전송될 것이다.

다음에, 상술한 바와 같은 구성을 갖는 전형적인 동영상 물체 기반 부호화 시스템에 적용하는 데 적합하며, 실질적으로 제1도내의 내용정보 부호화 블록(300)에 대응하는 본 발명의 동영상 물체 부호화기의 동작과정에 대하여 첨부된 제2도를 참조하여 상세하게 설명한다.

제2도는 본 발명의 바람직한 실시예에 따른 동영상 물체 부호화기에 대한 블록구성도를 나타낸다. 동도면에 도시된 바와 같이. 본 발명의 동영상 물체 부호화기는 제1스위칭 블록(310), 감산기(312), 물체 영역 판단 블록(314), 제2스위칭 블록(316). 평균값 삽입 블록(318), 제로값 삽입 블록(320) 및 영상 부호화 블록(322)을 포함한다.

제2도를 참조하면, 제1스위칭 블록(310)은, 실질적으로 제1도의 입력 라인 l11에 연결되는 두 개의 신호 입력경로(L21, L23, 및 감산기(312))를 갖는데, 라인 L21은 움직임 보상이 수행되지 않는 인트라 모드시의 영상 데이터(물체의 내용정보) 입력경로로써 제1스위칭 블록(310)의 가변접점 b에 연결되고, 라인 L23 및 감산기(312)는 움직임 보상이 수행되는 인터 모드시의 영상 데이터(물체의 내용정보) 입력경로로써 제1스위칭 블록(310)의 가변접점 c에 연결되며, 또한 제1스위칭 블록(310)의 고정접점 a는 다음단의 물체 영역 판단 블록(314)에 연결된다. 이와 같은 제1스위칭 블록(310)은 도시 생략된 제어 블록(예를 들면, 마이크로 프로세서)으로부터의 제어신호(CS1)에 의거하여 그 가변접점들간의 절환이 이루어지게 될 것이다.

따라서, 제1스위칭 블록(310)의 접점 a-b가 연결된 경우(다시 말해, 현재의 영상 부호화 모드가 인트라 모드인 경우), 물체의 내용정보들은 움직임 보상없이 부호화(DCT, 양자화 등)가 수행될 것이고, 그의 접점 a-c가 연결된 경우(다시 말해, 현재의 영상 부호화 모드가 인터 모드인 경우), 물체의 내용정보들은 움직임 보상을 통해 얻어진 에러신호로써 부호화(DCT, 양자화 등)가 수행될 것이다. 즉, 인터 모드의 경우, 라인 L23상의 물체의 내용정보에 대한 현재 프레임신호와 전술한 제1도의 움직임 추정/보상 블록(500)을 통해 예측되어 라인 L16상에 제공되는 물체의 내용정보에 대한 이전 프레임신호가 감산기(312)를 통해 감산되며, 이와 같이 감산된 결과신호, 즉 에러신호는 제1스위칭 블록(310)의 접점 a-c를 경유하여 물체 영역 판단 블록(314)으로 제공될 것이다.

한편, 물체 영역 판단 블록(314)에서는, 제1도의 윤곽선 복호화 블록(200)으로부터 라인 L13을 통해 제공되는 복원된 윤곽선 정보에 의거하여 소정의 크기를 갖는 특정 블록, 예를 들면 8×8의 DCT 블록(DB)이 가장자리, 즉 일예로서 제3a도에 도시된 바와 같이. 물체 영역(Sb)과 여백 영역(MF)이 교차하는 부분에 존재하는 지의 여부를 판단하며, 그 가장자리 판단결과에 상응하는 제어신호(CS2)를 발생하여 다음단의 제2스위칭 블록(316)에 대한 절환 제어신호(CS2)로서 제공한다. 이 때, 이러한 제어신호(CS2)로서는 로우, 제로 및 하이 레벨을 갖는 3차 논리신호가 사용될 수 있을 것이다.

보다 상세하게, 현재의 영상 부호화 모드가 인트라 또는 인터모드인 상태에서 부호화를 위해 현재 입력된 해당 블록이 물체 영역(Sb)내에 존재하는 블록인 것으로 판단되면, 물체 영역 판단 블록(314)에서는 그에 상응하는 제어신호(CS2)를 제2스위칭 블록(316)으로 제공하게 될 것이다. 따라서, 제어신호(CS2)에 다라 제2스위칭 블록(316)의 접점 d-e가 연결되므로, 해당 블록은 라인 L25를 통해 다음단의 영상 부호화 블록(322)에 제공될 것이다.

한편, 현재의 영상 부호화 모드가 인트라 모드인 상태에서 부호화를 위해 현재 입력된 블록이, 일예로서 제3b도에 도시된 바와 같이. 물체부분(A1)(동도에서 실선으로 도시됨)과 여백부분(A2)(동도에서 점선으로 도시됨)을 동시에 포함하는 블록, 즉 물체의 가장자리에 위치하는 블록인 것으로 판단되면, 물체 영역 판단 블록(314)에서는 그 판단결과에 상응하는 제어신호(CS2)를 제2스위칭 블록(316)으로 제공하게 될 것이다. 따라서, 제어신호(CS2)에 따라 제2스위칭 블록(316)의 접점 d-f가 연결되므로, 해당 블록은 평균값 삽입 블록(318)으로 제공되며, 평균값 삽입 블록(318)에서는 제3b도에 도시된 블록의 물체부분(A1)에 존재하는 화소데이터들의 평균값을 산출하고 그 산출된 평균값을 여백부분(A2)에 존재하는 각 화소들의 데이터값으로 채운 다음 라인 L27을 통해 다음단의 영상 부호화 블록(322)으로 제공한다.

다른 한편, 현재의 영상 부호화 모드가 인터 모드인 상태에서 부호화를 위해 현재 입력된 블록이, 일예로서 제3b도에 도시된 바와 같이, 물체부분(A1)과 여백부분(A2)을 동시에 포함하는 블록, 즉 물체의 가장자리에 위치하는 블록인 것으로 판단되면, 물체 영역 판단 블록(314)에서는 그 판단결과에 상응하는 제어신호(CS2)를 제2스위칭 블록(316)으로 제공하게 될 것이다. 따라서, 제어신호(CS2)에 따라 제2스위칭 블록(316)의 접점 d-g가 연결되므로, 해당 블록은 제로값 삽입 블록(320)으로 제공되며, 제로값 삽입 블록(320)으로 제공되며, 제로값 삽입 블록(320)에서는 제3b도에 도시된 블록의 여백부분(A2)에 존재하는 각 화소들의 데이터값을 제로값으로 채운 다음 라인 L29을 통해 다음단의 영상 부호화 블록(322)으로 제공한다.

상술한 바와 같이, 인트라 모드일 때 물체의 가장자리에 위치하는 블록의 여백부분을 물체부분 데이터의 평균값으로 채워주고, 인터 모드일 때 물체의 가장자리에 위치하는 블록의 여백부분을 제로값으로 채워주는 것은 인터 모드의 경우 움직임 보상을 통해 제로값을 갖는 화소 데이터가 많은데도 불구하고 물체부분의 데이터 평균값으로 여백부분의 데이터를 채워줌으로써 데이터가 불필요하게 증가하는 것을 방지하기 위해서이며, 이를 위해 본 발명에서는 움직임 보상이 잘된 블록(인터 모드)의 경우 가장자리에 위치하는 블록의 여백부분을 물체부분 화소데이터들의 평균값이 아닌 제로값으로 채워 DCT 및 양자화 등의 부호화를 적용한다.

따라서, 영상 부호화 블록(322)에서는 라인 L25를 통해 제공되는 물체영역 내에 위치하는 블록, 라인 L27을 통해 제공되는 인트라 모드시의 가장자리에 위치하는 블록(여백부분이 물체부분의 화소 데이터들의 평군값으로 채워진 블록) 및 라인 L29를 통해 제공되는 인터 모드시의 가장자리에 위치하는 블록(여백부분이 제로값으로 채워진 블록)을 입력순서에 기초하여 차례로 DCT 및 양자화 등의 알고리즘을 적용하여 영상 데이터를 소망하는 비트 레이트로 압축 부호화하며, 이와 같이 부호화된 영상 데이터(내용정보 데이터)는 라인 L14를 통해 도시 생략된 전송기로 보내짐과 동시에 제1도의 내용정보 복호화 블록(400)으로 제공될 것이다.

이상 설명한 바와 같이 본 발명에 따르면, 동영상 물체 기반 부호화에 있어서, 부호화하고자 하는 물체의 내용정보에 대한 DCT 블록들에 대하여 영상의 부호화 모드(인트라 모드 또는 인터 모드)에 따라 물체 윤곽선의 가장자리에 위치하는 DCT 블록의 여백부분에 대한 평균값 삽입과 제로값 삽입을 선택적으로 적용하여 불필요한 데이터의 발생을 억제함으로써, 영상의 압축 부호화 효율을 효과적으로 증진시킬 수 있는 효과를 갖는다.

Claims

부호화하고자 하는 영상 프레임내의 물체에 대해 그 윤곽선과 내용정보를 분리한 다음, 분리된 윤곽선 정보와 그 내용정보를 서로 다른 경로를 통해 부호화하며, DCT, 양자화 및 움직임 보상수단을 통해 상기 내용정보를 N×N 크기의 블록단위로 압축 부호화하는 동영상 물체 부호화기에 있어서, 시스템 제어수단으로부터의 제어신호에 의거하여, 현재 부호화하고자 하는 프레임의 상기 분리된 내용정보의 입력과, 상기 분리된 현재 프레임과 상기 현재 프레임의 내용정보 및 시간축상에서 상기 현재 프레임에 바로 인접하는 이전 프레임의 내용정보간의 움직임 추정 및 보상을 통해 얻어진 예측 프레임간의 차분신호로서 구성되는 내용정보에 대한 에러신호의 입력을 절환하는 제1스위칭 수단; 상기 분리된 윤곽선 정보에 기초하여 상기 제1스위칭 수단으로부터 제공되는 내용정보를 이루는 N×N 크기의 각 블록들이 상기 윤곽선의 가장자리에 위치하는 지의 여부를 판단하며, 그 가장자리 판단결과에 상응하는 절환 제어신호를 발생하는 물체 영역 판단 수단; 적어도 세 개의 가변접점을 가지며, 상기 물체 영역 판단 수단으로부터의 절환 제어신호에 의거하여 상기 세 개의 가변접점들과 상기 물체 영역 판단 수단의 출력에 연결된 고정접점간의 연결절환을 수행하는 제2스위칭 수단; 상기 제2스위칭 수단내의 세 개의 가변접점 중 어느 하나의 가변접점을 통해, 상기 내용정보에 대한 각 블록들 중 상기 물체 영역내에 위치하는 블록들을 상기 DCT 및 양자화 수단을 포함하는 영상 부호화 수단에 제공하는 제1경로; 상기 제2스위칭 수단내의 세 개의 가변접점 중 다른 하나의 가변접점을 통해, 상기 내용정보에 대한 각 블록들 중 상기 물체의 윤곽선 가장자리에 위치하는 해당 블록의 여백부분에 해당 블록의 물체부분에 있는 화소 데이터들의 평균값을 삽입한 다음 상기 DCT 및 양자화 수단을 포함하는 영상 부호화 수단에 제공하는 제2경로; 및 상기 제2스위칭 수단내의 세 개의 가변접점 중 또 다른 하나의 가변접점을 통해, 상기 내용정보에 대한 각 블록들 중 상기 물체의 윤곽선 가장자리에 위치하는 해당 블록의 여백부분에 제로값을 삽입한 다음 상기 DCT 및 양자화 수단을 포함하는 영상 부호화 수단에 제공하는 제2경로로 이루어진 동영상 물체 부호화기.
제1 항에 있어서, 상기 물체 영역 판단 수단은, 상기 제2스위칭 수단의 절환 제어신호로써, 상기 윤곽선의 가장자리 판단결과에 상응하는 적어도 3치 레벨을 갖는 논리신호를 발생하는 것을 특징으로 하는 동영상 물체 부호화기.
제1항 또는 제2항에 있어서, 상기 물체 영역 판단 수단은, 상기 물체의 윤곽선 가장자리에 위치하는 해당 블록내의 물체부분에서 제로값을 갖는 화소데이터수에 기초하여 상기 제2경로 또는 제3경로의 결정을 위한 상기 절환 제어신호를 발생하는 것을 특징으로 하는 동영상 물체 부호화기.
제3항에 있어서, 상기 물체의 윤곽선 가장자리에 위치하는 상기 해당 블록은, 그 부호화 모드가 인트라 모드일 때 상기 제2경로를 경유하여 상기 영상 부호화 수단에 제공되고, 그 부호화 모드가 인터 모드일 때 상기 제3경로를 경유하여 상기 영상 부호화 수단에 제공되는 것을 특징으로 하는 동영상 물체 부호화기.
제4항에 있어서, 상기 제1경로, 제2경로 또는 제3경로를 각각 경유하는 상기 각 블록은 8×8의 DCT 블록인 것을 특징으로 하는 동영상 물체 부호화기.