KR100281329B1

KR100281329B1 - 이진 형상 신호의 모드 신호 부호화 방법 및 그 복원 방법

Info

Publication number: KR100281329B1
Application number: KR1019980002689A
Authority: KR
Inventors: 조성렬
Original assignee: 전주범; 대우전자주식회사
Priority date: 1998-01-31
Filing date: 1998-01-31
Publication date: 2001-02-01
Also published as: JPH11262013A; AU746317B2; JP4033554B2; DE69837284D1; AU7939198A; US6256345B1; DE69837284T2; CN1224977A; KR19990066623A; CN1147154C; WO1999039507A1; EP1051849B1; EP1051849A1

Abstract

본 발명은 영상 프레임에서 추출한 형상 정보에 대해 분할된 N×N의 이진 알파 블록(BAB)의 상태에 따라 형상의 특성 정보를 나타내는 부가 정보인 모드 신호를 프레임 단위 또는 필드 단위로 부호화하고, 필드 단위의 형상 정보에 대해 분할된 N/2×N의 이진 알파 블록(BAB)의 상태에 따라 형상의 특성 정보를 나타내는 부가 정보인 모드 신호와 내용 정보인 화소들을 적응적으로 부호화하며, 수신측에서 이를 복원할 수 있도록 한 이진 형상 신호의 모드 신호 부호화 및 복원 기법에 관한 것으로, 이를 위하여 본 발명의 부호화 방법에서는, 현재 BAB의 공간적 상관도에 의거하여 순행 부호화 또는 격행 부호화를 적응적으로 결정하여 그에 상응하는 모드 신호를 발생하고, 격행 부호화시에 분할된 상부 필드 BAB 및 하부 필드 BAB중의 어느 하나가 no_update 신호일 때 각 필드별 부가 정보(모드 신호)와 필요한 필드 데이터만을 전송하며, 또한 본 발명의 이진 형상 신호 복원 방법에서는, 프레임 또는 필드 단위로 적응적으로 부호화되고, 상부 필드 BAB 및 하부 필드 BAB중의 어느 하나가 no_update 신호일 때 그에 상응하여 각 필드별로 부가 정보를 포함하도록 부호화된 이진 형상 신호를 필드별 no_update 모드 신호에 의거하여 필드별로 복호화한다.

Description

이진 형상 신호의 모드 신호 부호화 방법 및 그 복원 방법

본 발명은 이진 형상 신호의 모드 신호들을 부호화하는 기법에 관한 것으로서, 더욱 상세하게는 프레임 단위로 형상 정보를 부호화하는 순행(progressive) 형상 신호 부호화기와 필드 단위로 형상 정보를 부호화하는 격행(interlace) 형상 신호 부호화기를 갖는 복합 형상 부호화 시스템에서 부호화 모드에 따라 결정되는 모드 신호를 부호화하고, 수신측에 부호화된 이진 형상 신호를 원신호로 복원하는 데 적합한 모드 신호 부호화 방법 및 그 복원 방법에 관한 것이다.

비디오 전화, 원격 화상 회의 및 고선명 텔레비젼 시스템과 같은 디지털 방송 수신 시스템에 있어서, 비디오 프레임 신호내의 비디오 라인 신호가 화소값으로서 표현되는 디지털 데이터의 시퀀스(sequence)를 포함하기 때문에, 각각의 비디오 프레임 신호를 규정하는 데에는 다량의 디지털 데이터가 필요하다. 그러나, 통상적인 전송 채널의 사용가능한 주파수 대역폭은 제한적이므로, 이를 통해 다량의 디지털 데이터를, 특히 비디오 전화 및 원격 화상 회의 시스템에 사용되는 낮은 비트 속도의 비디오 신호 부호화기들(encoders)로 전송하기 위해, 여러 가지 데이터 압축 기법을 사용하여 데이터의 크기(volume)를 압축시키거나 혹은 감소시키는 것이 필수적이다.

낮은 비트율의 부호화 시스템에 있어서, 비디오 신호들을 부호화하기 위한 여러 가지 기법들 중의 하나로서는 객체 지향형 분석-합성 코딩 기법으로 지칭되는 기법이 있으며, 이러한 기법에서 입력 비디오 이미지는 객체들로 분할되고, 각 객체의 움직임, 윤곽선 및 화소 데이터를 정의하기 위한 3 세트의 변수(파라미터)들은 그 신호 특성상 서로 다른 부호화 채널을 통해 각각 처리된다.

이러한 객체 지향형 분석-합성 코딩 체계의 일실시예는 MPEG(동영상 전문가 그룹)4(MPEG-4)로서 지칭되며, 이것은 낮은 비트 속도 통신과, 쌍방향 멀티미디어(interactive multimedia)(예를들면, 게임, 쌍방향 TV 등) 및 감시장비와 같은 애플리케이션에서 내용 기반형 쌍방향성(content-based interactivity)과, 개선된 부호화 효율 및/또는 범용 액세스성(accessibility)을 허용하기 위한 오디오-비디오 부호화 표준을 제공하기 위해 마련되었다.

MPEG-4에 따르면, 입력 비디오 이미지는 다수의 비디오 객체 평면들(Video Object Plane : VOP's)로 분할되는 데, 이는 사용자가 액세스할 수 있고 다룰 수 있는 비트스트림(bitstream)인 실체들에 대응한다. VOP는 객체로서 지칭되며 그 폭과 높이가 각각 객체를 둘러싸는 16 화소(매크로 블록 사이즈)의 정수배인 사각형 중에서 최소 크기인 경계 사각형(bounding rectangle)으로 표현되므로 부호화기가 입력 비디오 이미지를 VOP 단위로 처리할 수 있다.

MPEG-4에서 설명된 VOP는 루미넌스(luninace) 및 크로미넌스(chrominance) 데이터로 구성되는 형상 정보 및 색 정보(color information)를 포함하는 데, 여기에서 이진 형상 신호들로 표시된 형상 정보는 알파 평면(alpha plane)으로서 지칭된다. 알파 평면은 각각 16 × 16 이진 화소들을 갖는 다수의 이진 알파 블록들(BAB)로 분할된다. 각각의 이진 화소들은 배경 화소 혹은 객체 화소 중 하나로 분류되며, 객체내에 있는 객체 화소가 다른 이진 화소값, 예를 들면 255의 값을 갖도록 할당되는데 사용되는 반면에, 알파 평면내의 객체 밖에 위치된 배경 화소는 이진 화소값, 예를 들면 0의 값을 갖도록 할당되는데 사용된다.

한편, BAB 내의 각 이진 화소들은 콘텍스트 기반 산술 부호화(context-based arithmetic encoding : CAE) 방법과 같은 통상적인 비트 맵 기반형 형상 코딩 방법을 사용하여 부호화된다. 즉, 인트라 모드(intra mode)에서, 현재 프레임(또는 VOP)내 BAB의 모든 이진 화소들은 인트라 CAE 방법을 사용하여 부호화되어 인트라 부호화된 BAB로 생성되는 데, 인트라 CAE 방법에서 현재 프레임내 BAB의 이진 화소의 콘텍스트값은 현재 프레임(또는 VOP)내 BAB의 이진 화소 주위에 있는 이진 화소의 콘텍스트값을 이용하여 얻어진다.

반면에, 인터 모드(inter mode)에서 현재 프레임(또는 VOP)내 BAB의 모든 이진 화소들은 인터 CAE 방법을 사용하여 부호화되어 인터 부호화된 BAB로 생성되는 데, 인터 CAE 방법에서 현재 프레임내 BAB의 이진 화소의 콘텍스트값은 현재 프레임(또는 VOP)내 BAB의 이진 화소 주위에 있는 이진 화소의 콘텍스트값과 이전 프레임내 이진 화소의 콘텍스트값을 이용하여 얻어진다.(참조 : MPEG-4 Video Verification Model Version 7.0, International Organisation for Standardisation, Coding of Moving Pictures And Associated Audio Information, ISO/IEC JTC1/SC29/WG11 MPEG97/N1642, Bristol, April 1997, pp 28-30)

한편, 종래의 이진 형상 부호화 기법에서는 부호화의 효율을 증진시키기 위해 BAB내의 모든 이진 화소들을 부호화하여 전송하는 것이 아니라 각 BAB들에 대해 부호화 조건을 나타내거나 특징짓는 모드 신호 또는 모드 신호와 부호화된 이진 화소값을 전송하는 방법을 채용하고 있다. 예를 들면, BAB내의 모든 이진 화소들이 객체 화소들일 때 전송되어야 할 부호화된 이진 화소값들을 발생시키기 위해 객체 화소들의 이진 화소값들을 부호화하는 대신에, BAB내의 모든 이진 화소들이 객체 화소들임을 알려주는 모드 신호만을 부호화하여 전송하는 것이 것이 바람한 데, 이와같이 BAB에 대한 이진 형상 정보와 같은 대응 부호화 모드 신호를 전송함으로써 부호화 효율을 증진시킬 수 있다.

종래의 모드 부호화 방법에 따르면, BAB를 부호화하는 데 있어서 각각의 BAB에 대해 아래의 표 1에 도시된 바와같은 7개의 서로 다른 모드중 하나를 나타내는 모드 신호를 부여하여, 이것을 부호화된 해당 모드 신호로서 부호화하여 전송한다.

BAB tybe(모드)	coding condition	used in
0	MVD=0 ＆ no update	P,B vop
1	MVD=0! ＆ no update	P,B vop
2	all_0	all vop
3	all_255	all vop
4	intra CAE	all vop
5	MVD=0 ＆ inter CAE	P,B vop
6	MVD!=0 ＆ inter CAE	P,B vop

표 1을 참조하면, 통상적인 모드 부호화 방법에 따른 BAB의 이진 알파 정보에 대한 7 개의 모드들이 있으며, 여기서 BAB의 형상에 대한 움직임 벡터 차이(MVD)는 형상에 대한 움직임 벡터(MV)와 형상에 대한 움직임 벡터 예측기(MVP) 사이의 차이이고, MVP는 통상적인 움직임 판단 기법을 사용하여 결정된다.(MPEG-4 Video Verfication Model Version 7.0, International Organization for Standardization, Coding of Moving Pictures And Associated Audio Information, ISO/IEC JTC/SC29/WG11 MPEG97/N1642, Bristol, April 1997, pp 20-23 참조)

상기한 표 1에 있어서, 모드 0은 BAB에 대한 형상의 움직임 벡터 차이(MVP)가 0으로서 정의되며 BAB내의 모든 이진 화소들이 부호화될 필요가 없음을 의미하고, 모드 1은 MVD가 0으로서 정의되지 않으며 BAB내의 모든 이진 화소들이 부호화될 필요가 없음을 의미하며, 모드 2는 BAB내의 모든 이진 화소들이 배경 화소들로서 정의됨을 의미하고, 모드 3은 BAB내의 모든 이진 화소들이 객체 화소들로서 정의됨을 의미하며, 모드 4는 BAB내의 모든 이진 화소가 인트라 CAE 방법에 의해 부호화됨을 의미하고, 모드 5는 MVD가 0으로서 정의되며 BAB내의 모든 이진 화소들이 인터 CAE 방법에 의해 부호화됨을 의미하며, 모드 6은 MVD가 0으로서 정의되지 않으며 BAB내의 모든 이진 화소들이 인터 CAE 방법에 의해 부호화됨을 의미한다.

한편, 상술한 바와같이 프레임 단위의 형상 정보를 BAB(예를들면, 16×16 매크로 블록)로 분할하고, 분할된 각 BAB에 대해 모드 신호와 이진 형상 신호를 이용하여 순행 부호화를 실행하는 MPEG4 형상 부호화 기법은 정지 영상이나 움직임이 작은 영상에 대해서는 효율적인 부호화를 수행할 수 있으나 움직임이 큰 영상이나 영상 자체에 필드간 상관성이 큰 경우에는 압축 효율을 극대화시키기에 적합하지가 않다.

즉, 프레임들 사이의 공간적 및/또는 시간적 상관성이 필드들간의 상관성보다 더 큰 경우 형상 정보를 프레임 단위로 부호화하는 것이 부호화의 효율면에서 볼 때 보다 유리하고, 프레임들 사이의 공간적 및/또는 시간적 상관성이 필드들간의 상관성보다 더 작은 경우 형상 정보를 필드 단위로 부호화하는 것이 부호화의 효율면에서 볼 때 보다 유리하다고 볼 수 있다.

따라서, 최근들어 형상 정보를 분할하여 얻은 각 BAB의 특성에 따라 프레임 단위(순행 형상 부호화) 또는 필드 단위(격행 형상 부호화)로 형상 신호를 부호화하는 적응적인 형상 부호화 기법들에 대한 연구가 도처에서 활발하게 진행되고 있는 실정이며, 본 발명은 적응적인 형상 부호화 기법에서 특히 격행 형상 부호화 기법의 개선에 관련된다.

본 발명은 영상 프레임에서 추출한 형상 정보에 대해 분할된 N×N의 이진 알파 블록(BAB)의 상태에 따라 형상의 특성 정보를 나타내는 부가 정보인 모드 신호를 프레임 단위 또는 필드 단위로 적응적으로 부호화할 수 있는 이진 형상 신호의 모드 신호 부호화 방법을 제공하는 데 그 목적이 있다.

본 발명의 다른 목적은 N×N의 이진 알파 블록(BAB)의 상태에 따라 프레임 또는 필드 단위로 형상의 특성 정보를 나타내는 부가 정보인 모드 신호와 이진 화소값으로 적응적으로 부호화된 이진 형상 신호를 원신호로 복원할 수 있는 이진 형상 신호 복원 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 영상 프레임에서 추출한 형상 정보를 N×N의 이진 알파 블록(BAB)으로 분할하고, 이 분할된 각 BAB의 공간적 상관성을 참조하여 각 BAB의 상태에 따라 형상의 특성 정보를 나타내는 모드 신호 및 화소값들인 내용 정보를 프레임 단위 또는 필드 단위로 부호화하는 방법에 있어서, 현재 프레임내 N×N의 현재 BAB와 이전 프레임내 P×P 탐색 영역내 다수의 이전 후보 BAB간의 블록 매칭 알고리즘을 수행하여 현재 블록에 대한 움직임 벡터(MV)를 추출하고, 이 추출된 MV와 기설정된 임계값을 비교하는 제 1 과정; 상기 비교 결과 추출된 MV가 기설정된 임계값 이하일 때, 상기 현재 BAB의 MV가 제로이고 현재 BAB내의 이진 화소값들이 부호화되지 않음을 의미하는 모드 신호(S11)를 발생함으로써, 상기 현재 BAB내 이진 화소값들에 대한 부호화를 종료하는 제 2 과정; 비교 결과 상기 추출된 MV가 기설정된 임계값 이상일 때, 상기 현재 BAB내 이진 화소값들이 all_0 또는 all_255 인지의 여부를 체크하며, 체크 결과 상기 현재 BAB내 이진 화소값들이 all_0 또는 all_255 일 때, 상기 현재 BAB의 모든 이진 화소들이 배경 화소들로서 정의되어 부호화되지 않음을 의미하는 모드 신호(S12) 또는 상기 현재 BAB의 모든 이진 화소들이 물체 화소들로서 정의되어 부호화되지 않음을 의미하는 모드 신호(S13)를 발생함으로써, 상기 현재 BAB내 이진 화소값들에 대한 부호화를 종료하는 제 3 과정; 상기 현재 BAB내 모든 이진 화소값들이 all_0 또는 all_255 아닐 때, 상기 현재 BAB를 상부 필드 BAB와 하부 필드 BAB로 분할하고, 상기 현재 BAB내 상관성과 상기 분할된 각 필드내 상관성을 참조하여 상기 현재 BAB에 대한 프레임/필드 모드 신호(S14)를 발생하며, 그에 상응하여 상기 현재 BAB에 대한 순행 부호화 또는 격행 부호화를 결정하는 제 4 과정; 상기 현재 BAB가 순행 부호화로 결정될 때, 상기 현재 BAB에 대해 콘텍스트 기반 산술 부호화 기법을 적용함으로써 그에 상응하는 다수의 프레임 모드 신호 및 내부의 이진 화소값들을 선택적으로 부호화하여 상기 현재 BAB의 프레임 모드 신호 및 부호화된 프레임 BAB 데이터를 발생하는 제 5 과정; 상기 현재 BAB가 격행 부호화로 결정될 때, N×N의 상기 현재 BAB를 N/2×N의 현재 상부 필드 BAB 및 현재 하부 필드 BAB로 분할한 각 필드 BAB에 대해 콘텍스트 기반 산술 부호화 기법을 적용함으로써 현재 필드에 상응하는 다수의 필드 모드 신호 및 내부의 이진 화소값들을 선택적으로 부호화하여 상기 현재 상부 필드 BAB 및 현재 하부 필드 BAB에 대응하는 필드 모드 신호 및 부호화된 필드 BAB 데이터를 발생하는 제 6 과정; 상기 현재 상부 필드 BAB 및 현재 하부 필드 BAB중 어느 하나가 해당 BAB내 이진 화소값들을 부호화할 필요가 없는 no_update 신호이고, 다른 하나가 no_update 신호가 아닌지의 여부를 판단하는 제 7 과정; 상기 현재 상부 필드 BAB 및 현재 하부 필드 BAB중 어느 하나가 상기 no_update 신호이고 다른 하나가 no_update 신호가 아닐 때, no_update 신호인 필드 BAB의 필드 모드 신호, no_update 신호가 아닌 필드 BAB의 필드 모드 신호 및 no_update 신호가 아닌 필드 BAB의 데이터를 발생하는 제 8 과정; 및 상기 발생된 각 모드 신호(S11, S12, S13, S14), 부호화된 프레임 모드 신호 및 프레임 BAB 데이터, 부호화된 필드 모드 신호 및 필드 BAB 데이터를 적응적을 다중화하여 전송하는 제 9 과정으로 이루어진 이진 형상 신호의 모드 신호 부호화 방법을 제공한다.

상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 영상 프레임에서 추출한 형상 정보를 N×N의 이진 알파 블록(BAB)으로 분할하고, 이 분할된 각 BAB의 공간적 상관성을 참조하여 각 BAB의 상태에 따라 형상의 특성 정보를 나타내는 모드 신호 및 화소값들인 내용 정보를 프레임 단위 또는 필드 단위로 부호화한 비트 스트림을 수신하여 부호화전의 원신호로 복원하는 방법에 있어서, 부호화된 비트 스트림이 수신되면, 비트 스트림내 부호화된 각 모드 신호를 복호화하고, 복호화된 모드 신호에 의거하여 현재 BAB의 MV가 제로인 모드 1, 현재 BAB내 모든 이진 화소값들이 all_0 또는 all_255인 모드 2인지의 여부를 체크하는 제 1 과정; 상기 현재 BAB가 상기 모드 1일 때 이전 프레임내 대응하는 이전 BAB내 이진 화소값들을 이용하여 상기 현재 BAB내 이진 화소값들을 복원하고, 상기 현재 BAB가 상기 모드 2일 때 상기 현재 BAB내 모든 이진 화소값들을 배경 화소 또는 물체 화소로 채워 복원하는 제 2 과정; 복호화된 프레임/필드 모드 신호에 의거하여, 상기 현재 BAB의 부호화 모드가 프레임 부호화 모드인지 필드 부호화 모드인지를 판단하며, 판단 결과 프레임 부호화 모드일 때 상기 현재 BAB에 대해 각 프레임 모드 신호 및 이전 프레임을 이용하는 인트라 CAD 또는 인터 CAD를 적용하여 부호화전의 원신호로 복원하는 제 3 과정; 상기 현재 BAB가 필드 부호화 모드일 때, 필드 인트라/인터 모드 신호에 의거하여 현재 상부 필드 BAB 및 현재 하부 필드 BAB가 인트라 또는 인터 CAE로 부호화된 BAB인지 혹은 상기 두 필드 BAB중 어느 하나가 no_update 신호이고 다른 하나가 no_update 신호가 아닌 모드 3인지의 여부를 체크하고, 체크 결과 상기 각 필드 BAB가 인트라 또는 인터 CAE로 부호화된 필드 BAB일 때, 상기 각 필드 BAB에 대해 필드 모드 신호 및 이전 상부 및 하부 필드를 이용하는 인트라 CAD 또는 인터 CAD를 적용하여 부호화전의 원신호로 복원하는 제 4 과정; 상기 현재 상부 필드 BAB 및 현재 하부 필드 BAB가 상기 모드 3일 때, 복호화된 필드 모드 신호(MVD)와 이전 상부 필드 또는 이전 하부 필드를 이용하는 움직임 보상을 통해 no_update 신호인 하나의 현재 필드 BAB를 부호화전의 원신호로 복원하는 제 5 과정; 및 상기 현재 상부 필드 BAB 및 현재 하부 필드 BAB가 상기 모드 3일 때, 상기 MVD 및 인트라/인터 모드 신호, 이전 하부 필드 또는 이전 상부 필드를 이용하는 인트라 CAD 또는 인터 CAD를 적용하여 상기 no_update 신호가 아닌 다른 하나의 현재 필드 BAB를 부호화전의 원신호로 복원하는 제 6 과정으로 이루어진 이진 형상 신호 복원 방법을 제공한다.

도 1은 본 발명의 바람직한 실시예에 따라 이진 형상 신호를 프레임 모드 또는 필드 모드로 선택적으로 부호화하는 모드 신호 부호화 방법을 적용하는 데 적합한 복합 이진 형상 부호화 시스템의 블록구성도,

도 2는 도 1에 도시된 격행 부호화 블록의 세부적인 블록구성도,

도 3은 본 발명의 바람직한 실시예에 따라 프레임 또는 필드 단위로 적응적으로 부호화된 이진 형상 신호를 부호화전의 원신호로 복원하는 모드 신호 복원 방법을 적용하는 데 적합한 복합 이진 형상 복호화 시스템의 블록구성도.

＜도면의 주요부분에 대한 부호의 설명＞

102 : 움직임 검출 블록 104,318 : 프레임 메모리

106 : bab 타입 결정 블록 108 : 부호화 모드 타입 결정 블록

110 : 순행 부호화 블록 112 : 격행 부호화 블록

114 : 모드 부호화 블록 116 : 데이터 MUX

200 : 상부 필드 처리 블록 202 : 상부 bab 타입 결정 블록

204 : 상부 no_update 판단 블록 206 : 상부 재구성 블록

208 : 상부 CAE 블록 210 : 하부 필드 처리 블록

212 : 하부 bab 타입 결정 블록 214 : 하부 no_update 판단 블록

216 : 하부 재구성 블록 218 : 하부 CAE 블록

220 : 모드 결정 블록 301 : 모드 신호 복호화 블록

302 : bab 타입 검출 블록 304 : 부호화 모드 판단 블록

306 : 순행 복호화 블록 308 : 필드 bab 타입 검출 블록

310 : 격행 복호화 블록 312 : 부호화 필드 결정 블록

314 : 모드 블록 복호화 블록 316 : 이진 화소 블록 복호화 블록

320 : 이진 형상 신호 합성 블록

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

도 1은 본 발명의 바람직한 실시예에 따른 모드 신호 부호화 방법을 적용하는 데 적합한 복합 이진 형상 부호화 시스템의 블록구성도를 나타낸다.

동도면에 도시된 바와같이, 복합 이진 형상 부호화 시스템은 움직임 검출 블록(102), 프레임 메모리(104), bab 타입 결정 블록(106), 부호화 모드 타입 결정 블록(108), 순행 부호화 블록(110), 격행 부호화 블록(112), 모드 부호화 블록(114) 및 데이터 MUX(116)를 포함한다.

도 1을 참조하면, 움직임 검출 블록(102)에서는 도시 생략된 형상 정보 추출기로부터 제공되는 현재 프레임의 형상 정보와 프레임 메모리(104)로부터 제공되는 이전 프레임의 형상 정보간에 NN 블록 단위(예를들면, 16×16의 이진 알파 블록(BAB))로 움직임을 검출, 예를들어 통상의 움직임 검출 기법을 통해 현재 프레임내 현재 BAB와 이전 프레임의 P×P 탐색 영역(예를들면, 32×32 탐색 영역)내 다수의 이전 후보 BAB들간의 블록 매칭 알고리즘을 수행하여 다수의 이전 후보 BAB들중 그 오차값이 가장 작은 최적의 이전 후보 BAB를 결정하고, 현재 BAB와 결정된 최적 후보 BAB간의 변위를 나타내는 움직임 벡터(MV)를 산출한다. 이때, 프레임 메모리(104)에는 움직임 검출에서 필요로 하는 이전 프레임이 그 부호화 과정의 진행에 따라 연속적으로 갱신되면서 저장된다.

그런다음, 움직임 검출 블록(102)은 해당 현재 BAB에 대한 움직임 벡터 MV가 제로(0)값인지 아니면 다른 어떤값을 갖는지의 여부를 판단하며, 그 판단 결과 해당 현재 BAB에 대한 움직임 벡터가 제로값일 때 라인 L11을 통해 해당 BAB의 움직임 벡터가 제로이고 해당 BAB내의 이진 화소값들이 부호화되지 않음을 의미하는 모드 신호(S11)를 발생하여 후술하는 모드 부호화 블록(114)으로 제공한다. 이때, 움직임 벡터가 제로인 해당 현재 BAB내의 이진 화소값들은 부호화하여 전송할 필요가 없으므로 다음단의 bab 타입 결정 블록(106)으로 전달되지 않는다. 따라서, 수신측의 복호화 시스템에서는 모드 신호(S11)와 이미 복원된 이전 프레임의 이진 화소값들을 이용하여 복원하고자하는 현재 프레임의 해당 BAB에 대한 데이터 복원을 수행하게 될 것이다.

또한, 움직임 검출 블록(102)에서는 해당 현재 BAB에 대한 움직임 벡터 MV가 제로(0)값이 아닌 어떤 다른 값을 가질 때, 라인 L11 상에 모드 신호(S11)를 발생하지 않고 해당 BAB의 이진 화소값들을 다음단의 bab 타입 결정 블록(106)으로 전달한다.

이때, 움직임 검출 블록(102)에서는 추출된 움직임 벡터가 제로값이 아니라 복원 화질에 큰 영향을 미치지 않는 범주에서 기설정되는 임계값 이하일 때 모드 신호(S11)를 발생하도록 설정될 수도 있다.

한편, bab 타입 결정 블록(106)에서는 각 BAB내 이진 화소값들이 all_0 인지 all_255 인지의 여부를 체크하는 데, 체크 결과 모든 이진 화소값들이 all_0 또는 all_255 일 때 라인 L12를 통해 해당 BAB의 모든 이진 화소들이 제로(0)의 값을 갖는 배경 화소들로서 정의되고 모든 이진 화소값들이 부호화되지 않음을 의미하는 모드 신호(S12) 또는 해당 BAB의 모든 이진 화소들이 255의 값을 갖는 물체 화소들로서 정의되고 모든 이진 화소값들이 부호화되지 않음을 의미하는 모드 신호(S13)를 발생하여 후술하는 모드 부호화 블록(114)으로 제공하며, 이때 해당 BAB내의 이진 화소값들은 다음단의 부호화 모드 결정 블록(108)으로 전달되지 않는다. 또한, bab 타입 결정 블록(106)은 해당 BAB내의 모든 이진 화소값들이 all_0 또는 all_255 가 아닐때 라인 L12 상에 모드 신호(S12 또는 S13)를 발생하지 않고, 해당 BAB의 이진 화소값들을 다음단의 부호화 모드 결정 블록(108)으로 전달한다.

따라서, 상술한 바와같은 과정을 통해 해당 BAB의 움직임 벡터가 제로값이거나 해당 BAB내의 모든 이진 화소값들이 all_0 또는 all_255 일 때, 라인 L11 및 L12를 통해 그에 상응하는 모드 신호(S11, S12 또는 S13)를 각각 발생하여 모드 부호화 블록(114)으로 제공하며, 이때 해당 BAB내의 이진 화소값들은 수신측으로 전송할 필요가 없으므로 부호화되지 않는다.

다음에, 부호화 모드 결정 블록(108)에서는 각 BAB에 대해 프레임내 공간적 상관성과 필드내 공간적 상관성을 산출하며, 그 산출 결과에 의거하여 해당 BAB의 프레임내 공간적 상관성이 클 때 프레임 모드를 결정하고 해당 BAB의 필드내 공간적 상관성이 클 때 필드 모드를 결정하며, 그 결정에 따른 프레임/필드 부호화 모드를 나타내는 모드 신호(S14)를 라인 L13 상에 발생하여 후술하는 모드 부호화 블록(114)으로 제공한다. 여기에서, 부호화 모드가 프레임 모드로 결정될 때 해당 BAB내의 이진 화소값들은 순행 부호화 블록(110)으로 제공되고, 부호화 모드가 필드 모드로 결정될 때 해당 BAB내의 이진 화소값들, 보다 상세하게 N×N의 BAB가 N/2×N의 상부 필드와 하부 필드로 분할된 이진 화소값들은 격행 부호화 블록(112)으로 제공된다.

이때, 부호화 모드 결정 블록(108)에서는 프레임내 또는 필드내 상관성을 산출할 때, 예를들면 N×N(예를들면, 16×16)의 BAB를 분할 마스크를 이용하여 N/2×N(예를들면, 8×16)의 두 개의 상부 및 하부 필드로 분할, 즉 각 BAB내의 짝수번째 화소 라인으로 된 상부 필드와 홀수번째 화소 라인으로 하부 필드로 분할하여 필드 데이터를 얻는 데, 이와같이 BAB를 상부 필드와 하부 필드로 분할하여 프레임내 공간적 상관성과 필드내 공간적 상관성에 의거하여 부호화 모드를 결정하는 방법으로서는, 예를들면 본 출원인에 의해 1997년 12월 30일자로 대한민국 특허청에“이진 형상 신호 부호화 방법 및 장치”의 명칭으로 특허출원된 것에 상세하게 기술되어 있다.(참조 : 특허 출원번호 제97-78372호)

한편, 순행 부호화 블록(110)에서는 자신이 이미 저장하고 있는 이전 프레임 형상 신호를 이용하는 콘텍스트 기반 산술 부호화(CAE) 방법과 같은 잘 알려진 비트맵 기반 형상 부호화 방법을 통해 분할된 각 BAB의 이진 형상 신호를 부호화하는 데, 이때 발생되는 부가 정보, 예를들면 움직임 벡터 차이 신호(MVD), no_update 신호, 인트라/인터 모드 신호 등과 같은 부가 정보들은 라인 L14를 통해 후술하는 모드 부호화 블록(114)으로 전달되고, MVD와 인트라 CAE 또는 인터 CAE를 통해 부호화된 내용 정보(즉, 부호화된 이진 화소값)들은 라인 L15를 통해 후술하는 데이터 MUX(116)로 전달된다.

상기와 같이 비트맵 기반 형상 부호화 방법을 통해 분할된 각 BAB의 이진 형상 신호를 프레임 모드로 부호화하는 방법의 일예로서는, 예를들면 본 출원인에 의해 1997년 12월 30일자로 대한민국 특허청에“이진 형상 코더에 사용하기 위한 모드 신호 엔코딩 방법 및 장치”의 명칭으로 특허출원된 것에 상세하게 기술되어 있다.(참조 : 특허 출원번호 제97-78374호)

다른한편, 격행 부호화 블록(112)은, 본 발명에서 가장 중요한 기술적 특징중의 하나를 내포하는 것으로, 자신이 이미 저장하고 있는 이전 프레임내 상부 및 하부 필드의 형상 신호를 이용하는 콘텍스트 기반 산술 부호화(CAE) 방법과 같은 잘 알려진 비트맵 기반 형상 부호화 방법을 통해 분할된 각 BAB의 상부 및 하부 필드에 대한 이진 형상 신호를 부호화하는 데, 이때 발생되는 필드 대응 부가 정보, 예를들면 all_0 또는 all_255 모드신호, no_update 신호, 움직임 벡터 차이 신호(MVD), 인트라/인터 모드 신호 등과 같은 부가 정보들은 라인 L16을 통해 후술하는 모드 부호화 블록(114)으로 전달되고, MVD와 인트라 CAE 또는 인터 CAE를 통해 부호화된 각 필드의 내용 정보(즉, 부호화된 이진 화소값)들은 라인 L17을 통해 후술하는 데이터 MUX(116)로 전달된다. 이러한 격행 부호화 기법의 구체적인 과정에 대해서는 첨부된 도 2를 참조하여 하기에 상세하게 설명하고자 한다.

도 2는 도 1에 도시된 격행 부호화 블록의 세부적인 블록구성도를 나타낸다.

동도면에 도시된 바와같이, 격행 부호화 블록(112)은 분할된 상부 필드 형상 신호를 부호화하는 상부 필드 처리 블록(200), 분할된 하부 필드 형상 신호를 부호화하는 하부 필드 처리 블록(210) 및 모드 결정 블록(220)을 포함한다. 또한, 상부 필드 처리 블록(200)은 상부 bab 타입 결정 블록(202), 상부 no_update 판단 블록(204), 상부 재구성 블록(206) 및 상부 CAE 블록(208)을 포함하고, 하부 필드 처리 블록(210)은 하부 bab 타입 결정 블록(212), 하부 no_update 판단 블록(214), 하부 재구성 블록(216) 및 하부 CAE 블록(218)을 포함한다.

도 2를 참조하면, 상부 필드 처리 블록(200)과 하부 필드 처리 블록(210)내의 대응하는 각 블록들은 부호화를 위해 처리되는 데이터가 상부 필드 및 하부 필드 BAB라는 점을 제외하고는 실질적으로 동일한 기능을 수행하는 구성부재이다. 따라서, 하기에서는 불필요한 중복 기재를 피하기 상부 필드 처리 블록(200)에서의 처리 동작을 중심으로 하여 주로 설명하고자 한다.

먼저, 상부 bab 타입 결정 블록(202)에서는 도 1에 도시된 부호화 모드 타입 결정 블록(108)으로부터 제공되는 분할된 N/2×N의 상부 필드 BAB내 모든 이진 화소값들이 all_0 인지 all_255 인지의 여부를 체크하는 데, 체크 결과 모든 이진 화소값들이 all_0 또는 all_255 일 때 라인 L21을 통해 현재 상부 필드 BAB의 모든 이진 화소들이 제로(0)의 값을 갖는 배경 화소들로서 정의되고 모든 이진 화소값들이 부호화지 않음을 의미하는 모드 신호(S21) 또는 현재 상부 필드 BAB의 모든 이진 화소들이 255의 값을 갖는 물체 화소들로서 정의되고 모든 이진 화소값들이 부호화지 않음을 의미하는 모드 신호(S22)를 발생하여 후술하는 상부 재구성 블록(206) 및 모드 결정 블록(220)으로 제공하며, 이때 현재 상부 필드 BAB내의 이진 화소값들은 다음단의 상부 no_update 판단 블록(204)으로 전달되지 않는다. 또한, 상부 bab 타입 결정 블록(202)은 현재 상부 필드 BAB내의 모든 이진 화소값들이 all_0 또는 all_255 가 아닐때 라인 L21 상에 모드 신호(S21 또는 S22)를 발생하지 않고, 현재 상부 필드 BAB의 이진 화소값들을 다음단의 상부 no_update 판단 블록(204)으로 전달한다.

다음에, 상부 no_update 판단 블록(204)에서는 현재 상부 필드 BAB와 라인 L23을 통해 후술하는 상부 재구성 블록(206)으로부터 제공되는 움직임 보상된(MC) 상부 필드 BAB가 동일한지의 여부를 결정하며, 그 결정 결과에 따라 현재 상부 필드 BAB와 MC BAB가 동일한 것으로 판단될 때 현재 상부 필드 BAB가 부호화될 필요가 없음을 의미하는 no_update 모드 신호를 라인 L22 상에 발생하여 후술하는 상부 재구성 블록(206) 및 모드 결정 블록(220)으로 제공한다. 이때, 현재 상부 필드 BAB내의 이진 화소값들은 다음단의 상부 CAE 블록(208)으로 전달되지 않는다.

예를들어, N/2×N(예를들면, 8×16)의 현재 상부 필드 BAB 및 MC BAB를 각각 다수의 4×4 의 부블록으로 각각 분할하고, 현재 상부 필드 BAB의 부블록들과 대응하는 MC BAB의 부블록들 사이의 에러가 기설정된 임계치보다 작거나 혹은 동일한 경우 상부 no_update 판단 블록(204)에서는 라인 L22 상에 no_update 모드 신호를 발생하며, 현재 상부 필드 BAB의 부블록들과 대응하는 MC BAB의 부블록들 사이의 에러가 기설정된 임계치보다 큰 경우 상부 no_update 판단 블록(204)에서는 라인 L22 상에 no_update 모드 신호를 발생하지 않고, 현재 상부 필드 BAB내의 이진 화소값들은 다음단의 상부 CAE 블록(208)으로 전달한다.

따라서, 상술한 바와같은 과정을 통해 해당 상부 필드 BAB내의 모든 이진 화소값들이 all_0 또는 all_255 이거나 혹은 현재 상부 필드 BAB와 MC BAB가 동일한 것으로 판단될 때, 라인 L21 및 L22를 통해 그에 상응하는 모드 신호(S21 또는 S22, S23)를 각각 발생하여 상부 재구성 블록(206) 및 모드 결정 블록(220)으로 제공하며, 이때 해당 상부 필드 BAB내의 이진 화소값들은 수신측으로 전송할 필요가 없으므로 부호화되지 않는다.

한편, 상부 재구성 블록(206)에서는 라인 L21 상의 모드신호 S21 또는 S22, 라인 L23 상의 현재 상부 필드 BAB 및 재구성된 이전 상부 필드 BAB에 의거해 움직임 추정 및 보상을 수행하여 현재 상부 필드 BAB의 움직임 벡터(MV) 및 움직임 보상된 MC BAB를 각각 생성하고, 기설정된 다수의 후보 MVP(현재 상부 필드 BAB의 좌측 또는 상측에 인접하는 이미 부호화된 현재 상부 필드 BAB의 움직임 벡터)중에서 선택한 결정 MVP와 현재 상부 필드 BAB의 MV간의 연산을 통해 움직임 벡터 차이 신호(MVD)를 생성하며, 여기에서 생성된 MC BAB는 라인 L23을 통해 전술한 상부 no_update 판단 블록(204)으로 제공되고, 생성된 MVD는 라인 L24 및 L25를 통해 모드 결정 블록(220), 도 1에 도시된 데이터 MUX(116) 및 상부 CAE 블록(208)으로 각각 제공된다. 또한, 인접한 재구성된 상부 필드 BAB는 라인 L25를 통해 상부 CAE 블록(208)으로 제공된다. 여기에서, MVD는 MV와 MVP 사이의 변위값을 나타낸다.

또한, 상부 CAE 블록(208)에서는 현재 상부 필드 BAB가 no_update 신호가 아닐 때 상부 no_update 판단 블록(204)으로부터 제공되는 현재 상부 필드 BAB내의 이진 화소값들에 대해 라인 L25를 통해 제공되는 재구성된 인접 상부 필드 BAB를 이용하는 통상적인 인트라 및 인터 CAE 방법에 의거하여 각각 부호화하며, 현재 상부 필드 BAB를 각각 부호화한 인트라 CAE 데이터와 인터 CAE 데이터를 비교하여 그 비트수가 작은 데이터를 최종 부호화 데이터로서 선택하여 라인 L26 상에 인트라/인터 모드 신호(S24)를 발생하여 모드 결정 블록(220)으로 제공함과 동시에 라인 L27을 통해 결정된 부호화 데이터(인트라 CAE 데이터 또는 인터 CAE 데이터)를 도 1에 도시된 데이터 MUX(116)로 제공한다.

따라서, 상술한 바와같은 과정을 통해 분할된 N/2×N의 현재 상부 필드 BAB에 대한 부호화, 즉 모드 신호 부호화 및 내용 정보(즉, 상부 필드 BAB내 이진 화소값들) 부호화가 수행된다.

한편, 하부 필드 처리 블록(210)은 상술한 상부 필드 처리 블록()에서 표현되는 상부 필드 BAB를 하부 필드 BAB로 대치한 점을 제외하고는 실질적으로 동일한 과정을 수행하며, 그러한 동일 처리 과정을 통해 현재 하부 필드 BAB의 모든 이진 화소들이 제로(0)의 값을 갖는 배경 화소들로서 정의되고 모든 이진 화소값들이 부호화지 않음을 의미하는 모드 신호(S31) 또는 현재 하부 필드 BAB의 모든 이진 화소들이 255의 값을 갖는 물체 화소들로서 정의되고 모든 이진 화소값들이 부호화지 않음을 의미하는 모드 신호(S32)가 라인 L31 상에 발생되어 모드 결정 블록(220)으로 제공되고, 현재 하부 필드 BAB와 MC BAB가 동일하므로 현재 하부 필드 BAB가 부호화될 필요가 없음을 의미하는 no_update 모드 신호(S33)가 라인 L32 상에 발생되어 모드 결정 블록(220)으로 제공되며, 라인 L34 상의 MVD 및 라인 L36 상의 인트라/인터 모드 신호(S34)가 모드 결정 블록(220)으로 제공되고, 또한 여기에서 산출된 MVD 및 결정된 부호화 데이터(인트라 CAE 데이터 또는 인터 CAE 데이터)가 L34 및 L37을 통해 도 1에 도시된 데이터 MUX(116)로 제공된다.

다음에, 모드 결정 블록(220)에서는 라인 L21, L22, L24, L26을 통해 각각 제공되는 현재 상부 필드 BAB에 대한 모드 신호(S21,S22, S23, MVD, S24)와 라인 L31, L32, L34, L36을 통해 각각 제공되는 현재 하부 필드 BAB에 대한 모드 신호(S31,S32, S33, MVD, S34)에 의거하여 현재 BAB의 필드에 대한 모드 신호를 결정하며, 여기에서 결정된 필드 모드 신호는 도 1에 도시된 모드 부호화 블록(114)으로 제공된다.

이때, 현재 BAB를 상부 필드 BAB 및 하부 필드 BAB로 분할하여 각각 부호화를 수행할 때 각 BAB의 특성에 따라 현재 상부 필드 BAB가 이진 화소값들을 부호화할 필요가 없는 no_update 신호일 때 그에 대응하는 현재 하부 필드 BAB가 이진 화소값들을 부호화해야만 되는 no_update 신호가 아닌 경우가 발생하거나 혹은 그 반대의 경우가 발생할 수 있는 데, 이때 모드 결정 블록(220)에서는 해당하는 현재 상부 필드 BAB의 부가 정보(즉, 각 모드 신호) 및 현재 하부 필드 BAB의 부가 정보(즉, 각 모드 신호) 모두를 도 1에 도시된 모드 부호화 블록(114)으로 전달한다. 이때, 현재 상부 필드 BAB가 no_update 신호이고 그에 대응하는 현재 하부 필드 BAB가 no_update 신호가 아닌 경우, 상부 CAE 블록(208)에서는 현재 상부 필드 BAB에 대한 부호화된 데이터를 라인 L27 상에 발생하지 않고, 하부 필드 CAE 블록(218)에서는 현재 하부 필드 BAB에 대한 부호화된 데이터를 라인 L37 상에 발생하게 될 것이다. 이와는 반대로, 현재 상부 필드 BAB가 no_update 신호가 아니고 그에 대응하는 현재 하부 필드 BAB가 no_update 신호인 경우, 상부 CAE 블록(208)에서는 현재 상부 필드 BAB에 대한 부호화된 데이터를 라인 L27 상에 발생하고, 하부 필드 CAE 블록(218)에서는 현재 하부 필드 BAB에 대한 부호화된 데이터를 라인 L37 상에 발생하지 않게 될 것이다.

따라서, 모드 결정 블록(220)에서는 현재 상부 필드 BAB 및 그에 대응하는 현재 하부 필드 BAB에 대한 모드 신호가 발생될 때, 상부 및 하부 필드 BAB가 모두 no_update 신호인지 아니면 두 필드중의 어느 하나가 no_update 신호가 아닌지의 여부를 체크하며, 그 체크 결과에 의거하여 그에 상응하는 필드 모드 신호를 발생하여 도 1의 모드 부호화 블록(114)으로 제공한다.

다시, 도 1을 다시 참조하면, 모드 부호화 블록(114)에서는 라인 L11 상의 모드 신호(S11), 라인 L12 상의 모드 신호(S12 또는 S13), 라인 L13 상의 모드 신호(S14)와 라인 L14 상의 모드 신호 또는 라인 L16 상의 모드 신호(즉, 도 2에 도시된 모드 결정 블록(220)으로부터의 필드 모드 신호)를, 예를들면 호프만 부호화를 통해 부호화하며, 이와같이 부호화된 모드 신호는 라인 L18을 통해 데이터 MUX(116)로 제공된다.

따라서, 데이터 MUX(116)에서는 라인 L18 상의 부호화된 프레임/필드 BAB 모드 신호와 라인 L15 상의 부호화된 BAB 프레임 데이터 또는 라인 L17 상의 부호화된 BAB 필드 데이터를 다중화하여 도시 생략된 전송기로 전송, 예를들면 각 BAB가 순행 부호화될 때 부호화된 BAB의 모드 신호와 해당 BAB의 데이터(BAB내의 이진 화소값들)를 연속적으로 순차 다중화하고, 각 BAB가 격행 부호화될 때 부호화된 상부 필드 BAB의 모드 신호와 해당 상부 필드 BAB의 데이터 및 부호화된 하부 필드 BAB의 모드 신호와 해당 하부 필드 BAB의 데이터를 연속적으로 순차 다중화하여 전송한다. 물론, 내용 정보(BAB내의 이진 화소값들)를 부호화할 필요가 없는 모드인 경우 해당 BAB에 대한 부호화된 모드 신호만이 전송될 것이다.

한편, 데이터 MUX(116)에서는 전술한 바와같이, 해당 BAB가 격행 부호화 모드이고 해당 BAB를 분할한 상부 및 하부 필드 BAB중의 어느 하나가 no_update 신호(예를들면, 상부 필드 BAB가 no_update 신호)일 때, 프레임내의 부호화된 한 BAB를 나타내는 부호화된 상부 필드 BAB 및 하부 필드 BAB에 대해 해당 상부 필드 BAB의 부호화된 모드 신호 + 해당 하부 필드 BAB의 부호화된 모드 신호 + 해당 하부 필드 BAB의 부호화된 데이터를 부호화된 프레임내 한 BAB의 데이터로써 다중화하여 전송한다.

다음에, 상술한 바와같이 본 발명에 따라 프레임 또는 필드 단위로 적응적으로 부호화된 이진 형상 신호를 수신측의 복합 이진 형상 복호화 시스템에서 부호화전의 원신호로 복원하는 과정에 대하여 설명한다.

도 3은 본 발명의 바람직한 실시예에 따라 프레임 또는 필드 단위로 적응적으로 부호화된 이진 형상 신호를 부호화전의 원신호로 복원하는 모드 신호 복원 방법을 적용하는 데 적합한 복합 이진 형상 복호화 시스템의 블록구성도를 나타낸다.

동도면에 도시된 바와같이, 복합 이진 형상 복호화 시스템은 모드 신호 복호화 블록(301), bab 타입 검출 블록(302), 부호화 모드 판단 블록(304), 순행 복호화 블록(306), 필드 bab 타입 검출 블록(308), 격행 복호화 블록(310), 부호화 필드 결정 블록(312), 모드 블록 복호화 블록(314), 이진 화소 블록 복호화 블록(316), 프레임 메모리(318) 및 이진 형상 신호 합성 블록(320)을 포함한다.

도 3을 참조하면, 모드 신호 복호화 블록(301)에서는 도시 생략된 전송 채널을 통해 부호화된 비트 스트림이 입력되면, 프레임 또는 필드 단위로 부호화된(예를들면, 호프만 부호화된) 모드 신호를 부호화전의 원신호로 복원하며, 이와같이 복원된 모드 신호와 함께 부호화된 이진 화소값들을 다음단의 bab 타입 결정 블록(302)으로 전달한다.

또한, bab 타입 결정 블록(302)에서는, 복호화된 모드 신호에 의거하여 N×N 단위, 예를들면 16×16 이진 알파 블록(BAB)의 타입을 검출, 즉 현재 BAB의 움직임 벡터(MV)가 제로이고 이진 화소값들이 부호화되지 않았음을 의미하는 모드(DM1)인지의 여부를 검출하고, 각 BAB내 이진 화소값들이 all_0(배경 화소) 또는 all_255(물체 화소) 로써 정의되고 모든 이진 화소값들이 부호화되지 않았음을 의미하는 모드(DM2 또는 DM3)인지의 여부를 검출하며, 그 검출 결과에 상응하는 모드 신호를 라인 L31 상에 발생하여 후술하는 이진 형상 신호 합성 블록(320)으로 제공한다.

따라서, 이진 형상 신호 합성 블록(320)에서는 라인 L31을 통해 DM1 모드 신호가 제공될 때, 프레임 메모리(318)에 저장된 이전 프레임의 대응하는 위치에 있는 이전 BAB를 라인 L32를 통해 인출하고, 이 인출된 이전 BAB를 현재 프레임내 현재 BAB로 대치함으로써, 해당 현재 BAB에 대한 복원을 완료하며, 또한 라인 L31을 통해 DM2 또는 DM3 모드 신호가 제공될 때, 현재 BAB내 모든 이진 화소값들을 배경 화소(all_0) 또는 물체 화소(all_255)로 채워 현재 BAB에 대한 복원을 완료한다.

다음에, 현재 BAB가 MV=0, all_0, all_255 중 어느 모드로 아닐 때, 부호화 모드 판단 블록(304)에서는 프레임/필드 모드 신호에 의거하여 현재 BAB가 프레임 부호화 모드인지 필드 부호화 모드인지의 판단하며, 판단 결과 현재 BAB가 프레임 부호화 모드일 때 프레임 모드 신호 및/또는 부호화된 BAB내 이진 화소값들을 순행 복호화 블록(306)으로 제공하고, 판단 결과 현재 BAB가 필드 부호화 모드일 때 필드 모드 신호 및/또는 부호화된 필드 BAB내 이진 화소값들을 필드 bab 타입 검출 블록(308)으로 제공한다.

따라서, 순행 복호화 블록(306)에서는 프레임 모드 신호, 즉 움직임 벡터 차이 신호(MVD), no_update 신호, 인트라/인터 모드 신호 등과 같은 부가 정보들과 라인 L33을 통해 프레임 메모리(318)로부터 제공되는 이전 프레임 형상 신호를 이용하는 콘텍스트 기반 산술 복호화(인트라 CAD 또는 인터 CAD) 방법과 같은 잘 알려진 비트맵 기반 형상 복호화 방법을 통해 현재 BAB의 부호화된 이진 형상 신호를 부호화전의 원신호로 복원하며, 여기에서 복원된 현재 BAB내 이진 화소값들은 라인 L34를 통해 이진 형상 신호 합성 블록(320)으로 제공된다.

한편, 필드 bab 타입 검출 블록(308)에서는 필드 모드 신호에 의거하여 부호화된 현재 상부 및 현재 하부 필드 BAB가 인트라 CAE 또는 인터 CAE 부호화된 필드 BAB인지 혹은 현재 상부 필드 BAB와 현재 하부 필드 BAB중 어느 한 필드 BAB가 no_update 신호로 부호화되고 다른 한 필드 BAB가 no_update 신호로 부호화되지 않은 필드 BAB인지의 여부를 검출하며, 검출 결과 현재 상부 및 현재 하부 필드 BAB가 인트라 CAE 또는 인터 CAE 부호화된 필드 BAB일 때 필드 모드 신호 및 부호화된 현재 상부 및 하부 필드 BAB내 이진 화소값들을 격행 복호화 블록(310)으로 전달하고, 검출 결과 두 필드 BAB중 어느 한 필드 BAB가 no_update 신호이고 다른 한 필드 BAB가 no_update 신호가 아닐 때 필드 모드 신호 및/또는 부호화된 필드 BAB내 이진 화소값들을 부호화 필드 결정 블록(312)으로 전달한다.

따라서, 격행 복호화 블록(310)에서는 필드 모드 신호, 즉 all_0 또는 all_255 신호, 움직임 벡터 차이 신호(MVD), no_update 신호, 인트라/인터 모드 신호 등과 같은 부가 정보들과 라인 L33을 통해 프레임 메모리(318)로부터 제공되는 이전 프레임을 이전 상부 필드와 이전 하부 필드로 분할한 이전 필드 형상 신호를 이용하는 콘텍스트 기반 산술 복호화(인트라 CAD 또는 인터 CAD) 방법과 같은 잘 알려진 비트맵 기반 형상 복호화 방법을 통해 각 현재 필드 BAB의 부호화된 이진 형상 신호를 부호화전의 원신호로 복원하며, 여기에서 복원된 각 현재 필드 BAB내 이진 화소값들은 라인 L35를 통해 이진 형상 신호 합성 블록(320)으로 제공된다.

다른한편, 부호화 필드 결정 블록(312)에서는 필드 모드 신호(즉, no_update 모드 신호)에 의거하여 현재 상부 필드 BAB 및 현재 하부 필드 BAB중 어느 필드 BAB가 no_update 신호인지의 여부를 결정하며, 여기에서 결정되는 no_update 신호 필드 BAB는 해당 필드 모드 신호와 함께 모드 블록 복호화 블록(314)으로 전달되고, no_update 신호가 아닌 필드 BAB는 해당 필드 모드 신호와 함께 이진 화소 블록 복호화 블록(316)으로 전달된다.

이때, 모드 블록 복호화 블록(314)에서는 해당 필드 모드 신호(MVD)와 라인 L31을 통해 프레임 메모리(318)로부터 제공되는 이전 프레임에서 분할한 이전 상부 필드 또는 이전 하부 필드를 이용하여 현재 필드(현재 상부 필드 또는 현재 하부 필드) BAB를 복원, 즉 현재 필드 BAB에 인접하는 이미 복호화된 다수의 이전 현재 필드 BAB에 대한 다수의 후보 MVP에서 선택된 결정 MVP와 MVD를 이용하여 현재 필드 BAB의 MV를 산출(즉, MVD가 MVP와 MV 사이의 변위값이므로, 결정 MVP와 MVD에 의거하여 현재 필드 BAB의 MV를 산출)하고, 이 산출된 MV와 이전 필드를 이용하는 움직임 보상을 통해 현재 필드(현재 상부 필드 또는 현재 하부 필드) BAB내 이진 화소값들을 복원하며, 여기에서 복원된 현재 필드내 이진 화소값들은 라인 L36을 통해 이진 형상 신호 합성 블록(320)으로 제공된다.

또한, 이진 화소 블록 복호화 블록(316)에서는 해당 필드 모드 신호(MVD, 인트라/인터 모드 신호)와 라인 L31을 통해 프레임 메모리(318)로부터 제공되는 이전 프레임에서 분할한 이전 하부 필드 또는 이전 상부 필드를 이용하는 콘텍스트 기반 산술 복호화(인트라 CAD 또는 인터 CAD) 방법과 같은 잘 알려진 비트맵 기반 형상 복호화 방법을 통해 현재 필드(현재 하부 필드 또는 현재 상부 필드) BAB의 부호화된 이진 형상 신호를 부호화전의 원신호로 복원하며, 여기에서 복원된 현재 필드(현재 하부 필드 또는 현재 상부 필드) BAB내 이진 화소값들은 라인 L37을 통해 이진 형상 신호 합성 블록(320)으로 제공된다.

그 결과, 이진 형상 신호 합성 블록(320)에서는 라인 L31, L34, L35, L36, L37을 통해 각각 제공되는 DM1 모드, DM2 모드, DM3모드, 복호화된 BAB 또는 복호화된 각 필드 BAB를 이용하여 원신호로 복원된 이진 형상 신호를 발생하며, 여기에서 발생된 복원 이진 형상 신호는 이어지는 다음 프레임 또는 필드의 복호화를 위한 이전 프레임 또는 필드로써 사용되기 위해 라인 L32를 통해 프레임 메모리(318)에 저장됨과 동시에 도시 생략된 디스플레이측으로 제공된다.

이상 설명한 바와같이 본 발명의 모드 신호 부호화 방법에 따르면, 현재 BAB의 공간적 상관도에 의거하여 순행 부호화(프레임 부호화) 또는 격행 부호화(필드 부호화)를 적응적으로 결정함으로써 모드 신호에 대한 부호화 효율을 증진시킬 수 있고, 또한 격행 부호화시에 분할된 상부 필드 BAB 및 하부 필드 BAB중의 어느 하나가 no_update 신호일 때 각 필드별 부가 정보(모드 신호)와 필요한 필드 데이타만을 전송하도록 함으로서 격행 부호화에서의 부호화 효율을 더욱 증진시킬 수 있다.

또한, 본 발명의 이진 형상 신호 복원 방법에 따르면, 본 발명의 부호화 방법에 따라 프레임 또는 필드 단위로 적응적으로 부호화되고, 상부 필드 BAB 및 하부 필드 BAB중의 어느 하나가 no_update 신호일 때 그에 상응하여 각 필드별로 부가 정보를 포함하도록 부호화된 이진 형상 신호를 효과적으로 복호화할 수 있다.

Claims

영상 프레임에서 추출한 형상 정보를 N×N의 이진 알파 블록(BAB)으로 분할하고, 이 분할된 각 BAB의 공간적 상관성을 참조하여 각 BAB의 상태에 따라 형상의 특성 정보를 나타내는 모드 신호 및 화소값들인 내용 정보를 프레임 단위 또는 필드 단위로 부호화하는 방법에 있어서,

현재 프레임내 N×N의 현재 BAB와 이전 프레임내 P×P 탐색 영역내 다수의 이전 후보 BAB간의 블록 매칭 알고리즘을 수행하여 현재 블록에 대한 움직임 벡터(MV)를 추출하고, 이 추출된 MV와 기설정된 임계값을 비교하는 제 1 과정;

상기 비교 결과 추출된 MV가 기설정된 임계값 이하일 때, 상기 현재 BAB의 MV가 제로이고 현재 BAB내의 이진 화소값들이 부호화되지 않음을 의미하는 모드 신호(S11)를 발생함으로써, 상기 현재 BAB내 이진 화소값들에 대한 부호화를 종료하는 제 2 과정;

비교 결과 상기 추출된 MV가 기설정된 임계값 이상일 때, 상기 현재 BAB내 이진 화소값들이 all_0 또는 all_255 인지의 여부를 체크하며, 체크 결과 상기 현재 BAB내 이진 화소값들이 all_0 또는 all_255 일 때, 상기 현재 BAB의 모든 이진 화소들이 배경 화소들로서 정의되어 부호화되지 않음을 의미하는 모드 신호(S12) 또는 상기 현재 BAB의 모든 이진 화소들이 물체 화소들로서 정의되어 부호화되지 않음을 의미하는 모드 신호(S13)를 발생함으로써, 상기 현재 BAB내 이진 화소값들에 대한 부호화를 종료하는 제 3 과정;

상기 현재 BAB내 모든 이진 화소값들이 all_0 또는 all_255 아닐 때, 상기 현재 BAB를 상부 필드 BAB와 하부 필드 BAB로 분할하고, 상기 현재 BAB내 상관성과 상기 분할된 각 필드내 상관성을 참조하여 상기 현재 BAB에 대한 프레임/필드 모드 신호(S14)를 발생하며, 그에 상응하여 상기 현재 BAB에 대한 순행 부호화 또는 격행 부호화를 결정하는 제 4 과정;

상기 현재 BAB가 순행 부호화로 결정될 때, 상기 현재 BAB에 대해 콘텍스트 기반 산술 부호화 기법을 적용함으로써 그에 상응하는 다수의 프레임 모드 신호 및 내부의 이진 화소값들을 선택적으로 부호화하여 상기 현재 BAB의 프레임 모드 신호 및 부호화된 프레임 BAB 데이터를 발생하는 제 5 과정;

상기 현재 BAB가 격행 부호화로 결정될 때, N×N의 상기 현재 BAB를 N/2×N의 현재 상부 필드 BAB 및 현재 하부 필드 BAB로 분할한 각 필드 BAB에 대해 콘텍스트 기반 산술 부호화 기법을 적용함으로써 현재 필드에 상응하는 다수의 필드 모드 신호 및 내부의 이진 화소값들을 선택적으로 부호화하여 상기 현재 상부 필드 BAB 및 현재 하부 필드 BAB에 대응하는 필드 모드 신호 및 부호화된 필드 BAB 데이터를 발생하는 제 6 과정;

상기 현재 상부 필드 BAB 및 현재 하부 필드 BAB중 어느 하나가 해당 BAB내 이진 화소값들을 부호화할 필요가 없는 no_update 신호이고, 다른 하나가 no_update 신호가 아닌지의 여부를 판단하는 제 7 과정;

상기 현재 상부 필드 BAB 및 현재 하부 필드 BAB중 어느 하나가 상기 no_update 신호이고 다른 하나가 no_update 신호가 아닐 때, no_update 신호인 필드 BAB의 필드 모드 신호, no_update 신호가 아닌 필드 BAB의 필드 모드 신호 및 no_update 신호가 아닌 필드 BAB의 부호화된 데이터를 발생하는 제 8 과정; 및

상기 발생된 각 모드 신호(S11, S12, S13, S14), 부호화된 프레임 모드 신호 및 프레임 BAB 데이터, 부호화된 필드 모드 신호 및 필드 BAB 데이터를 적응적을 다중화하여 전송하는 제 9 과정으로 이루어진 이진 형상 신호의 모드 신호 부호화 방법.
제 1 항에 있어서, 상기 제 6 과정은:

상기 분할된 각 필드 BAB내 이진 화소값들이 all_0 또는 all_255 인지의 여부를 체크하며, 체크 결과 상기 각 필드 BAB내 이진 화소값들이 all_0 또는 all_255 일 때, 상기 각 필드 BAB내 모든 이진 화소들이 배경 화소들로서 정의되어 부호화되지 않음을 의미하는 모드 신호(S21, S31) 또는 상기 각 필드 BAB내 모든 이진 화소들이 물체 화소들로서 정의되어 부호화되지 않음을 의미하는 모드 신호(S22, S32)를 각각 발생함으로써, 상기 각 필드 BAB내 이진 화소값들에 대한 부호화를 종료하는 제 61 과정;

상기 각 필드 BAB내 모든 이진 화소값들이 all_0 또는 all_255 아닐 때, 움직임 상되어 재구성된 각 필드 MC BAB와 상기 각 필드 BAB가 동일한지의 여부를 각각 결정하고, 상기 각 필드 BAB와 각 MC BAB가 각각 동일한 것으로 판단될 때 상기 각 필드 BAB가 부호화될 필요가 없음을 의미하는 no_update 모드 신호(S23, S33)를 각각 발생하며, 상기 각 필드 BAB내 이진 화소값들에 대한 부호화를 종료하는 제 62 과정;

상기 발생된 각 모드 신호(S21, S22, S23, S31, S32, S33) 및 각 필드 BAB 및 재구성된 MC BAB에 의거해 움직임 추정 및 보상을 수행하여 각 필드 BAB의 움직임 벡터(MV) 및 움직임 보상된 MC BAB를 각각 생성하고, 기설정된 다수의 후보 MVP중에서 결정된 각 결정 MVP와 생성된 각 필드 BAB의 MV간의 연산을 통해 움직임 벡터 차이 신호(MVD)를 각각 생성하는 제 63 과정;

상기 각 필드 BAB내 이진 화소값들을 인트라 CAE 및 인터 CAE 부호화하고, 상기 생성된 각 MVD를 참조하는 비트수 연산을 통해 상기 각 필드 BAB에 대한 인트라 CAE 또는 인터 CAE 모드 신호(S24, S34)를 각각 결정하고, 각각 결정된 모드에 따라 상기 인트라 CAE 부호화된 데이터 또는 인터 CAE 부호화된 데이터를 상기 각 필드 BAB의 부호화된 내용 정보로서 각각 선택하는 제 64 과정; 및

상기 발생된 각 모드 신호(S21, S22, S23, S24, S31, S32, S33, S34)에 의거하여 상기 각 필드에 대한 필드 모드 신호를 결정하고, 상기 각 필드 BAB중 어느 하나가 상기 no_update 모드 신호이고 다른 하나가 no_update 모드 신호가 아닐 때, 상기 각 필드에 대응하는 각 no_update 모드 신호를 각각 발생하는 제 65 과정을 포함하는 것을 특징으로 하는 이진 형상 신호의 모드 신호 부호화 방법.
영상 프레임에서 추출한 형상 정보를 N×N의 이진 알파 블록(BAB)으로 분할하고, 이 분할된 각 BAB의 공간적 상관성을 참조하여 각 BAB의 상태에 따라 형상의 특성 정보를 나타내는 모드 신호 및 화소값들인 내용 정보를 프레임 단위 또는 필드 단위로 부호화한 비트 스트림을 수신하여 부호화전의 원신호로 복원하는 방법에 있어서,

부호화된 비트 스트림이 수신되면, 비트 스트림내 부호화된 각 모드 신호를 복호화하고, 복호화된 모드 신호에 의거하여 현재 BAB의 MV가 제로인 모드 1, 현재 BAB내 모든 이진 화소값들이 all_0 또는 all_255인 모드 2인지의 여부를 체크하는 제 1 과정;

상기 현재 BAB가 상기 모드 1일 때 이전 프레임내 대응하는 이전 BAB내 이진 화소값들을 이용하여 상기 현재 BAB내 이진 화소값들을 복원하고, 상기 현재 BAB가 상기 모드 2일 때 상기 현재 BAB내 모든 이진 화소값들을 배경 화소 또는 물체 화소로 채워 복원하는 제 2 과정;

복호화된 프레임/필드 모드 신호에 의거하여, 상기 현재 BAB의 부호화 모드가 프레임 부호화 모드인지 필드 부호화 모드인지를 판단하며, 판단 결과 프레임 부호화 모드일 때 상기 현재 BAB에 대해 각 프레임 모드 신호 및 이전 프레임을 이용하는 인트라 CAD 또는 인터 CAD를 적용하여 부호화전의 원신호로 복원하는 제 3 과정;

상기 현재 BAB가 필드 부호화 모드일 때, 필드 인트라/인터 모드 신호에 의거하여 현재 상부 필드 BAB 및 현재 하부 필드 BAB가 인트라 또는 인터 CAE로 부호화된 BAB인지 혹은 상기 두 필드 BAB중 어느 하나가 no_update 신호이고 다른 하나가 no_update 신호가 아닌 모드 3인지의 여부를 체크하고, 체크 결과 상기 각 필드 BAB가 인트라 또는 인터 CAE로 부호화된 필드 BAB일 때, 상기 각 필드 BAB에 대해 필드 모드 신호 및 이전 상부 및 하부 필드를 이용하는 인트라 CAD 또는 인터 CAD를 적용하여 부호화전의 원신호로 복원하는 제 4 과정;

상기 현재 상부 필드 BAB 및 현재 하부 필드 BAB가 상기 모드 3일 때, 복호화된 필드 모드 신호(MVD)와 이전 상부 필드 또는 이전 하부 필드를 이용하는 움직임 보상을 통해 no_update 신호인 하나의 현재 필드 BAB를 부호화전의 원신호로 복원하는 제 5 과정; 및

상기 현재 상부 필드 BAB 및 현재 하부 필드 BAB가 상기 모드 3일 때, 상기 MVD 및 인트라/인터 모드 신호, 이전 하부 필드 또는 이전 상부 필드를 이용하는 인트라 CAD 또는 인터 CAD를 적용하여 상기 no_update 신호가 아닌 다른 하나의 현재 필드 BAB를 부호화전의 원신호로 복원하는 제 6 과정으로 이루어진 이진 형상 신호 복원 방법.
제 3 항에 있어서, 제 5 과정은:

상기 현재 필드 BAB에 인접하는 이미 복호화된 다수의 이전 현재 필드 BAB에 대한 다수의 후보 MVP에서 선택된 결정 MVP와 복호화된 상기 MVD를 이용하여 상기 현재 필드 BAB의 MV를 산출하는 제 51 과정; 및

상기 산출된 MV와 상기 이전 상부 필드 또는 이전 하부 필드를 이용하는 움직임 보상을 통해 상기 현재 필드 BAB내 이진 화소값들을 복원하는 제 52 과정을 포함하는 것을 특징으로 하는 이진 형상 신호 복원 방법.