KR100281462B1 - 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법 - Google Patents

격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법 Download PDF

Info

Publication number
KR100281462B1
KR100281462B1 KR1019980011093A KR19980011093A KR100281462B1 KR 100281462 B1 KR100281462 B1 KR 100281462B1 KR 1019980011093 A KR1019980011093 A KR 1019980011093A KR 19980011093 A KR19980011093 A KR 19980011093A KR 100281462 B1 KR100281462 B1 KR 100281462B1
Authority
KR
South Korea
Prior art keywords
current
bab
frame
texture
block
Prior art date
Application number
KR1019980011093A
Other languages
English (en)
Other versions
KR19990076276A (ko
Inventor
김진헌
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1019980011093A priority Critical patent/KR100281462B1/ko
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to DE1998634348 priority patent/DE69834348T2/de
Priority to PCT/KR1998/000147 priority patent/WO1999051034A1/en
Priority to EP98925954A priority patent/EP1075765B1/en
Priority to AU77895/98A priority patent/AU748276B2/en
Priority to ES98925954T priority patent/ES2263208T3/es
Priority to CNB98102680XA priority patent/CN1147153C/zh
Priority to JP18874498A priority patent/JP3924071B2/ja
Priority to US09/132,663 priority patent/US6243418B1/en
Publication of KR19990076276A publication Critical patent/KR19990076276A/ko
Application granted granted Critical
Publication of KR100281462B1 publication Critical patent/KR100281462B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Abstract

본 발명은 격행 이진 형상 신호의 부호화시에 발생하는 현재 BAB의 움직임 벡터에 대한 움직임 벡터 예측자가 존재하지 않을 때, 현재 형상 프레임에 대응하는 현재 텍스쳐 프레임내 기설정된 N개의 인접 프레임 블록을 분할한 2N개의 필드 블록의 움직임 벡터로부터 얻어지는 움직임 벡터 예측자를 이용하여, 현재 BAB에 대한 움직임 벡터를 효과적으로 부호화할 수 있도록 한 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 기법에 관한 것으로, 이를 위하여 본 발명은, 현재 형상 프레임내 기부호화된 다수의 인접 BAB 및 현재 텍스쳐 프레임내 대응하는 텍스쳐 블록에 인접하는 다수의 인접 텍스쳐 블록에 프레임 기반의 MV가 존재하지 않을 때, 대응 텍스쳐 블록에 인접하는 다수의 인접 텍스쳐 블록에 존재 가능한 필드 기반 MV를 이용하여 현재 BAB의 MV에 대한 MVP를 산출하도록 함으로써, 이진 형상 신호의 인터 모드 부호화시에 발생하는 움직임 벡터에 기인하는 부호화 비트율의 증가를 최대한 억제할 수 있는 것이다.

Description

격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법{METHOD FOR ENCODING MOTION VECTOR OF BINARY SHAPE SIGNALS IN INTERLACED SHAPE CODING TECHNIQUE}
본 발명은 이진 형상 신호의 움직임 벡터를 부호화하는 기법에 관한 것으로서, 더욱 상세하게는 격행 영상의 형상 정보를 프레임 단위로 부호화하는 순행(progressive) 형상 신호 부호화기와 N×N 블록 단위로 추출되는 움직임 벡터를 부호화하는 데 적합한 격행 부호화에서 이진 형상 신호의 움직임 벡터를 부호화하는 기법에 관한 것이다.
비디오 전화, 원격 화상 회의 및 고선명 텔레비젼 시스템과 같은 디지털 방송 수신 시스템에 있어서, 비디오 프레임 신호내의 비디오 라인 신호가 화소값으로서 표현되는 디지털 데이터의 시퀀스(sequence)를 포함하기 때문에, 각각의 비디오 프레임 신호를 규정하는 데에는 다량의 디지털 데이터가 필요하다. 그러나, 통상적인 전송 채널의 사용가능한 주파수 대역폭은 제한적이므로, 이를 통해 다량의 디지털 데이터를, 특히 비디오 전화 및 원격 화상 회의 시스템에 사용되는 낮은 비트 속도의 비디오 신호 부호화기들(encoders)로 전송하기 위해, 여러 가지 데이터 압축 기법을 사용하여 데이터의 크기(volume)를 압축시키거나 혹은 감소시키는 것이 필수적이다.
낮은 비트율의 부호화 시스템에 있어서, 비디오 신호들을 부호화하기 위한 여러 가지 기법들 중의 하나로서는 객체 지향형 분석-합성 코딩 기법으로 지칭되는 기법이 있으며, 이러한 기법에서 입력 비디오 이미지는 객체들로 분할되고, 각 객체의 움직임, 윤곽선 및 화소 데이터를 정의하기 위한 3 세트의 변수(파라미터)들은 그 신호 특성상 서로 다른 부호화 채널을 통해 각각 처리된다.
이러한 객체 지향형 분석-합성 코딩 체계의 일실시예는 MPEG(동영상 전문가 그룹)4(MPEG-4)로서 지칭되며, 이것은 낮은 비트 속도 통신과, 쌍방향 멀티미디어(interactive multimedia)(예를들면, 게임, 쌍방향 TV 등) 및 감시장비와 같은 애플리케이션에서 내용 기반형 쌍방향성(content-based interactivity)과, 개선된 부호화 효율 및/또는 범용 액세스성(accessibility)을 허용하기 위한 오디오-비디오 부호화 표준을 제공하기 위해 마련되었다.
MPEG-4에 따르면, 입력 비디오 이미지는 다수의 비디오 객체 평면들(Video Object Plane : VOP's)로 분할되는 데, 이는 사용자가 액세스할 수 있고 다룰 수 있는 비트스트림(bitstream)인 실체들에 대응한다. VOP는 객체로서 지칭되며 그 폭과 높이가 각각 객체를 둘러싸는 16 화소(매크로 블록 사이즈)의 정수배인 사각형 중에서 최소 크기인 경계 사각형(bounding rectangle)으로 표현되므로 부호화기가 입력 비디오 이미지를 VOP 단위로 처리할 수 있다.
MPEG-4에서 설명된 VOP는 루미넌스(luninace) 및 크로미넌스(chrominance) 데이터로 구성되는 형상 정보 및 색 정보(color information)를 포함하는 데, 여기에서 이진 형상 신호들로 표시된 형상 정보는 알파 평면(alpha plane)으로서 지칭된다. 알파 평면은 각각 16×16 이진 화소들을 갖는 다수의 이진 알파 블록들(BAB)로 분할된다. 각각의 이진 화소들은 배경 화소 혹은 객체 화소 중 하나로 분류되며, 객체내에 있는 객체 화소가 다른 이진 화소값, 예를 들면 255의 값을 갖도록 할당되는데 사용되는 반면에, 알파 평면내의 객체 밖에 위치된 배경 화소는 이진 화소값, 예를 들면 0의 값을 갖도록 할당되는데 사용된다.
한편, BAB 내의 각 이진 화소들은 콘텍스트 기반 산술 부호화(context-based arithmetic encoding : CAE) 방법과 같은 통상적인 비트 맵 기반형 형상 코딩 방법을 사용하여 부호화된다. 즉, 인트라 모드(intra mode)에서, 현재 프레임(또는 VOP)내 BAB의 모든 이진 화소들은 인트라 CAE 방법을 사용하여 부호화되어 인트라 부호화된 BAB로 생성되는 데, 인트라 CAE 방법에서 현재 프레임내 BAB의 이진 화소의 콘텍스트값은 현재 프레임(또는 VOP)내 BAB의 이진 화소 주위에 있는 이진 화소의 콘텍스트값을 이용하여 얻어진다.
반면에, 인터 모드(inter mode)에서 현재 프레임(또는 VOP)내 BAB의 모든 이진 화소들은 인터 CAE 방법을 사용하여 부호화되어 인터 부호화된 BAB로 생성되는 데, 인터 CAE 방법에서 현재 프레임내 BAB의 이진 화소의 콘텍스트값은 현재 프레임(또는 VOP)내 BAB의 이진 화소 주위에 있는 이진 화소의 콘텍스트값과 이전 프레임내 이진 화소의 콘텍스트값을 이용하여 얻어진다.(참조 : MPEG-4 Video Verification Model Version 7.0, International Organisation for Standardisation, Coding of Moving Pictures And Associated Audio Information, ISO/IEC JTC1/SC29/WG11 MPEG97/N1642, Bristol, April 1997, pp 28-30)
한편, 종래의 이진 형상 부호화 기법에서는 부호화의 효율을 증진시키기 위해 BAB내의 모든 이진 화소들을 부호화하여 전송하는 것이 아니라 각 BAB들에 대해 부호화 조건을 나타내거나 특징짓는 모드 신호 또는 모드 신호와 부호화된 이진 화소값을 전송하는 방법을 채용하고 있다. 예를 들면, BAB내의 모든 이진 화소들이 객체 화소들일 때 전송되어야 할 부호화된 이진 화소값들을 발생시키기 위해 객체 화소들의 이진 화소값들을 부호화하는 대신에, BAB내의 모든 이진 화소들이 객체 화소들임을 알려주는 모드 신호만을 부호화하여 전송하는 것이 것이 바람한 데, 이와같이 BAB에 대한 이진 형상 정보와 같은 대응 부호화 모드 신호를 전송함으로써 부호화 효율을 증진시킬 수 있다.
종래의 모드 부호화 방법에 따르면, BAB를 부호화하는 데 있어서 각각의 BAB에 대해 아래의 표 1에 도시된 바와같은 7개의 서로 다른 모드중 하나를 나타내는 모드 신호를 부여하여, 이것을 부호화된 해당 모드 신호로서 부호화하여 전송한다.
BAB tybe(모드) coding condition used in
0 MVD=0 ＆ no update P,B vop
1 MVD=0! ＆ no update P,B vop
2 all_0 all vop
3 all_255 all vop
4 intra CAE all vop
5 MVD=0 ＆ inter CAE P,B vop
6 MVD!=0 ＆ inter CAE P,B vop
표 1을 참조하면, 통상적인 모드 부호화 방법에 따른 BAB의 이진 알파 정보에 대한 7개의 모드들이 있으며, 모드 0은 BAB에 대한 형상의 움직임 벡터 차이(MVP : motion vector predictor)가 0으로서 정의되며 BAB내의 모든 이진 화소들이 부호화될 필요가 없음을 의미하고, 모드 1은 MVD(motion vector difference)가 0으로서 정의되지 않으며 BAB내의 모든 이진 화소들이 부호화될 필요가 없음을 의미하며, 모드 2는 BAB내의 모든 이진 화소들이 배경 화소들로서 정의됨을 의미하고, 모드 3은 BAB내의 모든 이진 화소들이 객체 화소들로서 정의됨을 의미하며, 모드 4는 BAB내의 모든 이진 화소가 인트라 CAE 방법에 의해 부호화됨을 의미하고, 모드 5는 MVD가 0으로서 정의되며 BAB내의 모든 이진 화소들이 인터 CAE 방법에 의해 부호화됨을 의미하며, 모드 6은 MVD가 0으로서 정의되지 않으며 BAB내의 모든 이진 화소들이 인터 CAE 방법에 의해 부호화됨을 의미한다.
여기에서, 프레임 기반 BAB의 형상에 대한 움직임 벡터 차이(MVD)는 현재 BAB의 형상에 대한 움직임 벡터(MV)와 현재 BAB에 대한 움직임 벡터 예측자(MVP) 또는 현재 BAB에 대응하는 위치의 N×N 텍스쳐 블록의 움직임 벡터 예측자(MVP), 즉 현재 BAB에 인접하는 현재 형상 프레임내 기부호화된 인접 BAB의 움직임 벡터들중에서 선택된 MVP 또는 현재 BAB에 대응하는 위치의 텍스쳐 블록에 인접하는 현재 텍스쳐 프레임내 기부호화된 인접 텍스쳐 블록의 움직임 벡터들중에서 선택된 MVP 사이의 차이를 나타내는 데, 이러한 MVP는 통상적인 움직임 판단 기법을 사용하여 결정된다.(MPEG-4 Video Verfication Model Version 7.0, International Organization for Standardization, Coding of Moving Pictures And Associated Audio Information, ISO/IEC JTC/SC29/WG11 MPEG97/N1642, Bristol, April 1997, pp 20-23 참조)
이때, 프레임 기반의 현재 BAB에 대한 움직임 벡터로써 현재 BAB의 MV 와 MVP 사이의 움직임 벡터 차이(MVD)를 전송하는 것은 각 BAB에 대한 움직임 벡터에 할당되는 부호화 비트율을 절감시키기 위해서이며, 이러한 기법은 격행 부호화의 텍스쳐 정보 부호화에서도 이용될 수 있다.
보다 상세하게, 종래 방법에서는 현재 BAB의 움직임 벡터가 추출되면, 일예로서 도 5a에 도시된 바와같이, 현재 BAB에 인접하는 현재 형상 프레임내 기설정된 다수의 인접 BAB(프레임 기반의 인접 BAB)의 움직임 벡터 예측자들(MVS1, MVS2, MVS3)중 어느 하나 또는 일예로서 도 5b에 도시된 바와같이, 현재 BAB에 대응하는 위치의 텍스쳐 블록에 인접하는 현재 텍스쳐 프레임내 기설정된 다수의 인접 텍스쳐 블록의 움직임 벡터 예측자들(MVT1, MVT2, MVT3)중 어느 하나를 현재 BAB의 움직임 벡터(MV)에 대응하는 최종 MVP로 결정하며, 현재 BAB의 MV와 결정된 MVP간의 MVD를 현재 BAB의 움직임 벡터 정보로써 전송하였다. 이때, 현재 BAB에 대한 MVP가 존재하지 않으면 현재 BAB의 MV를 그대로 전송하게 된다.
여기에서, 현재 BAB의 MV에 대응하는 MVP를 결정하는 방법은 현재 형상 프레임내 MVS1, MVS2, MVS3를 차례로 탐색하여 세 개의 인접 BAB중 어느 하나에 MVP가 존재하는 지의 여부를 체크하여 존재하면 해당 인접 BAB의 MV를 MVP로 결정하고, 체크 결과 존재하지 않으면 마찬가지 방법으로 현재 텍스쳐 프레임내 MVT1, MVT2, MVT3를 차례로 탐색하여 세 개의 인접 텍스쳐 블록중 어느 하나에 MVP가 존재하는 지의 여부를 체크하여 존재하면 해당 인접 텍스쳐 블록의 MV를 MVP로 결정한다.
한편, 격행 텍스쳐 부호화에서는 텍스쳐 영상을 프레임 기반으로 인터 또는 인트라 모드 부호화하거나 혹은 텍스쳐 프레임을 상부 필드와 하부 필드로 분할한 필드 단위로 인터 또는 인트라 부호화하는 적응적인 부호화 기법을 채용하는 데, 텍스쳐 영상을 프레임 기반의 N×N 프레임 블록(16×16 프레임 블록) 단위로 인터 모드 부호화하는 경우, 전술한 프레임 기반 형상 부호화 기법에서와 마찬가지로 N×N 프레임 블록마다 하나의 MV가 존재하는 반면에 텍스쳐 영상을 필드 기반의 M×N 필드 블록(8×16 필드 블록) 단위로 인터 모드 부호화하는 경우, N×N 프레임 블록당 두 개의 MV, 상부 필드 블록에 대한 MV와 하부 필드 블록에 대한 MV가 존재하게 된다.
따라서, 종래에는 격행 형상 부호화에서 형상 정보의 움직임 벡터(MV)를 부호화할 때, 기설정된 프레임 기반 인접 BAB의 MV가 존재하거나 혹은 기설정된 프레임 기반 텍스쳐 블록의 MV가 존재할 때에만 현재 BAB의 MV 와 MVP간의 MVD를 산출하여 전송하고, 현재 형상 프레임내 기설정된 다수의 인접 BAB 및 현재 텍스쳐 프레임내 기설정된 다수의 인접 텍스쳐 블록에 프레임 기반의 MV가 존재하지 않는 경우에는 현재 BAB의 MV를 그대로 전송하기 때문에 형상 정보의 움직임 벡터를 부호화 효율(비트율)을 개선하는 데 어느 정도의 한계를 가질 수밖에 없었다.
본 발명은 상기한 점에 착안하여 안출한 것으로, 격행 이진 형상 신호의 부호화시에 발생하는 현재 BAB의 움직임 벡터에 대한 움직임 벡터 예측자가 존재하지 않을 때, 현재 형상 프레임에 대응하는 현재 텍스쳐 프레임내 기설정된 N개의 인접 프레임 블록을 분할한 2N개의 필드 블록의 움직임 벡터로부터 얻어지는 움직임 벡터 예측자를 이용하여, 현재 BAB에 대한 움직임 벡터를 효과적으로 부호화할 수 있는 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위하여 본 발명은, 격행 영상 프레임의 물체 평면에서 추출한 형상 정보를 N×N의 이진 알파 블록(BAB)으로 분할하여 형상 정보의 특성을 나타내는 다수의 모드 신호 및 화소값들인 내용 정보를 CAE로 인터 부호화 또는 인트라 부호화하고, 영상 프레임의 물체 평면에서 추출한 텍스쳐 정보를 N×N의 프레임 블록으로 분할하여 프레임 기반 또는 필드 기반으로 인터 부호화 또는 인트라 부호화를 할 때, 현재 BAB와 재구성된 이전 형상 프레임간의 움직임 추정을 추출되는 움직임 벡터(MV)를 부호화하는 방법에 있어서, 부호화하고자 하는 현재 N×N BAB와 상기 재구성된 이전 형상 프레임의 P×P 탐색 영역내 다수의 이전 후보 N×N BAB간의 블록 매칭을 수행하여 상기 현재 N×N BAB의 현재 MV를 추출하는 제 1 과정; 상기 현재 N×N BAB에 인접하는 현재 형상 프레임내 기설정된 다수의 인접 N×N BAB의 MV들 및 상기 현재 N×N BAB에 대응하는 위치에 있는 현재 텍스쳐 프레임내 대응 N×N 텍스쳐 블록에 인접하는 기설정된 다수의 인접 N×N 텍스쳐 블록의 프레임 기반 MV들중의 어느 하나를 상기 추출된 현재 MV에 대한 제 1 움직임 벡터 예측자(MVP)로 결정하는 제 2 과정; 상기 추출된 현재 MV와 상기 결정된 MVP간의 움직임 벡터 차이(MVD)를 산출하며, 이 산출된 MVD를 상기 현재 N×N BAB의 최종 MV로써 전송하는 제 3 과정; 및 상기 다수의 인접 N×N BAB 및 상기 다수의 N×N 텍스쳐 블록에 프레임 기반의 MV가 존재하지 않으면, 상기 다수의 N×N 텍스쳐 블록들중 N×N 텍스쳐 블록을 각 M×N의 상부 및 하부 필드 블록으로 분할하여 추출한 두개의 필드 MV를 갖는 N×N 텍스쳐 블록의 두 필드 MV를 이용하여 상기 추출된 현재 MV에 대한 제 2 MVP를 산출하고, 상기 추출된 현재 MV와 상기 산출된 제 2 MVP간의 MVD를 산출하며, 이 산출된 MVD를 상기 현재 N×N BAB의 최종 MV로써 전송하는 제 4 과정으로 이루어진 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법을 제공한다.
도 1은 전형적인 물체 기반 영상 부호화 시스템의 개략적인 블록구성도,
도 2는 도 1에 도시된 형상 정보 부호화 블록의 세부적인 블록구성도,
도 3은 본 발명에 따른 이진 형상 신호의 움직임 벡터를 부호화하는 방법을 적용하는 데 적합하며, 도 2에 도시된 재구성 블록의 세부적인 블록구성도,
도 4는 본 발명의 바람직한 실시예에 따라 형상 정보의 움직임 벡터 예측자 또는 텍스쳐 정보의 움직임 예측자를 이용하여 이진 형상 신호의 움직임 벡터를 부호화하는 과정을 도시한 플로우챠트,
도 5는 현재 블록의 움직임 벡터에 이용되는 형상 정보의 움직임 예측자 및 텍스쳐 정보의 움직임 예측자의 일예를 도시한 도면.
＜도면의 주요부분에 대한 부호의 설명＞
202 : 모드 검출 블록 204 : 모드 추출 블록
206 : 형상 부호화기 208 : 모드 부호화 블록
210 : 재구성 블록 212 : 형상 데이터 MUX
302 : 형상 재구성 블록 304 : 메모리 블록
306 : 움직임 추정 블록 308 : MVD 발생 블록
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
도 1은 도 1은 전형적인 물체 기반 영상 부호화 시스템의 개략적인 블록구성도로써, 메모리(102), 형상 정보 부호화 블록(104), 텍스쳐 부호화 블록(106) 및 데이터 MUX(108)를 포함한다.
도 1을 참조하면, 메모리(102)의 A영역에는 도시 생략된 형상 정보 추출기로부터 제공되는 현재 형상 프레임 신호가 저장되고, B영역에는 도시 생략된 텍스쳐 추출기를 통해 추출된 부호화하고자하는 현재 격행 프레임에 대한 격행 텍스쳐 정보가 저장되며, A영역상의 형상 프레임은 라인 L11을 통해 형상 정보 부호화 블록(104)으로 제공되고, B영역상의 텍스쳐 프레임은 라인 L13을 통해 텍스쳐 부호화 블록(106)으로 제공된다.
또한, 형상 정보 부호화 블록(104)에서는 라인 L11 상의 격행 형상 프레임 신호를 프레임 기반으로하여 인터 모드 또는 인트라 모드로 부호화, 전술한 바와같이, BAB 단위(예를들면, 16×16 형상 블록)로 다수의 모드신호, 인터 또는 인트라 모드 부호화된 이진 형상 신호 및/또는 움직임 벡터(또는 움직임 벡터 차이)로 부호화하여 라인 L12를 통해 데이터 MUX(108)로 전달하는 데, 이러한 형상 정보 부호화 블록(104)을 통해 이진 형상 신호를 프레임 기반의 BAB 단위로 인터 모드 또는 인트라 모드 부호화하는 과정에 대해서는 도 2를 참조하여 후에 상세하게 기술될 것이다.
한편, 텍스쳐 부호화 블록(106)은, 라인 L13 상의 격행 텍스쳐 영상을 프레임 기반 또는 필드 기반으로하여 인터 모드 또는 인트라 모드로 부호화, 즉 전술한 바와같이, N×N 프레임 블록(예를들면, 16×16 프레임 블록) 단위로 인터 모드 또는 인트라 모드 부호화하거나 혹은 N×N 프레임 블록을 M×N 상부 필드 블록(예를들면, 8×16 상부 필드 블록)과 M×N 하부 필드 블록으로 분할하여 얻은 필드 블록 단위로 인터 모드 또는 인트라 모드 부호화함으로써, 프레임 기반 또는 필드 기반의 인터 또는 인트라 부호화된 텍스쳐 영상 및/또는 프레임 기반 또는 필드 기반 부호화된 움직임 벡터들을 발생하여 라인 L15를 통해 데이터 MUX(108)로 전달하는 것으로, 이때 프레임 기반의 인터 모드 부호화를 수행하는 경우 N×N 프레임 블록에 대한 하나의 MV가 발생하고, 필드 기반의 인터 모드 부호화를 수행하는 경우 N×N 프레임 블록에 대한 두 개의 MV(즉, 상부 필드 블록의 MV 및 하부 필드 블록의 MV)가 발생하게 될 것이다. 이러한 텍스쳐 영상을 부호화하는 기법의 일예로서는 본 출원인에 의해“격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및 그 패딩 방법”의 명칭으로 대한민국 특허청에 1998년 3월 14일자로 특허출원된 특허출원 제 98-8637 호에 개시되어 있다.
이때, 텍스쳐 부호화 블록(106)에서 필드 기반의 인터 모드 부호화를 수행할 때 발생하는 상부 필드 블록의 MV 및 하부 필드 블록의 MV는 본 발명에 따른 이진 형상 신호의 움직임 벡터 부호화를 위한 움직임 벡터 예측자(MVP)로써 이용될 수 있는 데, 이를 위해 텍스쳐 부호화 블록(106)에서는 필드 기반의 인터 모드 부호화시에 발생하는 상부 필드 블록의 MV 및 하부 필드 블록의 MV를 라인 L14를 통해 형상 정보 부호화 블록(104)으로 제공한다.
따라서, 데이터 MUX(108)에서는 라인 L12 상의 부호화된 이진 형상 신호(즉, 다수의 모드신호, 인터 또는 인트라 모드 부호화된 이진 형상 신호 및/또는 움직임 벡터(또는 움직임 벡터 차이))와 라인 L15 상의 부호화된 텍스쳐 신호(즉, 프레임 기반 또는 필드 기반의 인터 또는 인트라 부호화된 텍스쳐 영상 및/또는 프레임 기반 또는 필드 기반 부호화된 움직임 벡터들)를 순차적으로 다중화하여 도시 생략된 전송기로 전송한다.
다음에, 도 2를 참조하여 본 발명에 관련되는 형상 정보 부호화 블록에서 이진 형상 신호를 부호화하는 과정에 대하여 설명한다.
도 2는 도 1에 도시된 형상 정보 부호화 블록의 세부적인 블록구성도로써, 모드 검출 블록(202), 모드 추출 블록(204), 형상 부호화기(206), 모드 부호화 블록(208), 재구성 블록(210) 및 형상 데이터 MUX(212)를 포함한다.
도 2를 참조하면, 모드 검출 블록(202)에서는 도 1의 메모리(102) A영역으로부터 제공되는 현재 형상 프레임의 각 BAB내 모든 이진 화소값들이 all_0 인지 all_255 인지의 여부를 체크하는 데, 체크 결과 현재 BAB내 모든 이진 화소값들이 all_0 또는 all_255 일 때, 라인 L21을 통해 현재 BAB의 모든 이진 화소들이 제로(0)의 값을 갖는 배경 화소들로서 정의되고 모든 이진 화소값들이 부호화되지 않음을 의미하는 모드 신호(S21) 또는 현재 BAB의 모든 이진 화소들이 255의 값을 갖는 물체 화소들로서 정의되고 모든 이진 화소값들이 부호화되지 않음을 의미하는 모드 신호(S22)를 발생하여 후술하는 재구성 블록(210) 및 모드 부호화 블록(208)으로 제공하며, 이때 현재 BAB내의 이진 화소값들은 라인 L22 및 L23 상에 발생하지 않는다. 또한, 모드 검출 블록(202)은 현재 BAB내의 모든 이진 화소값들이 all_0 또는 all_255 가 아닐때 라인 L21 상에 모드 신호(S21 또는 S22)를 발생하지 않고, 현재 상부 필드 BAB의 이진 화소값들을 라인 L22 및 L23 상에 발생하여 모드 추출 블록(204) 및 재구성 블록(210)으로 전달한다.
한편, 모드 추출 블록(204)에서는 현재 BAB에 대한 다수의 모드 신호, 즉 라인 L25를 통해 후술하는 재구성 블록(210)으로부터 제공되는 현재 BAB의 MV가 제로(0)값(또는 기설정된 임계값 이하)일 때 라인 L24를 통해 해당 BAB의 움직임 벡터가 제로이고 해당 BAB내의 이진 화소값들이 부호화되지 않음을 의미하는 모드 신호(S23)를 발생하여 후술하는 모드 부호화 블록(208)으로 제공한다. 이때, 움직임 벡터가 제로인 해당 현재 BAB내의 이진 화소값들은 부호화하여 전송할 필요가 없으므로 라인 L26 상에는 현재 BAB의 이진 화소값들이 출력되지 않으며, 라인 L25를 통해 재구성 블록(210)으로만 전달된다. 이때, 모드 추출 블록(204)에서는 추출된 움직임 벡터가 제로값이 아니라 복원 화질에 큰 영향을 미치지 않는 범주에서 기설정되는 임계값 이하일 때 라인 L24 상에 모드 신호(S23)를 발생하도록 설정될 수도 있다.
또한, 모드 추출 블록(204)에서는 각 BAB에 대해 프레임내 공간적 상관성과 필드내 공간적 상관성을 산출하고, 그 산출 결과에 의거하여 해당 BAB의 프레임내 공간적 상관성이 클 때 프레임 부호화 모드를 결정하고 해당 BAB의 필드내 공간적 상관성이 클 때 필드 부호화 모드를 결정하며, 그 결정에 따른 프레임/필드 부호화 모드를 나타내는 모드 신호(S24)를 라인 L24 상에 발생하여 모드 부호화 블록(208)으로 제공한다.
이때, 모드 추출 블록(204)에서는 프레임내 또는 필드내 상관성을 산출할 때, 예를들면 N×N(예를들면, 16×16)의 BAB를 분할 마스크를 이용하여 N/2×N(예를들면, 8×16)의 두 개의 상부 및 하부 필드로 분할, 즉 각 BAB내의 짝수번째 화소 라인으로 된 상부 필드와 홀수번째 화소 라인으로 하부 필드로 분할하여 필드 데이터를 얻는 데, 이와같이 BAB를 상부 필드와 하부 필드로 분할하여 프레임내 공간적 상관성과 필드내 공간적 상관성에 의거하여 부호화 모드를 결정하는 방법으로서는, 예를들면 본 출원인에 의해 1997년 12월 30일자로 대한민국 특허청에“이진 형상 신호 부호화 방법 및 장치”의 명칭으로 특허출원된 것에 상세하게 기술되어 있다.(참조 : 특허 출원번호 제97-78372호)
따라서, 모드 추출 블록(204)에서는 현재 BAB의 움직임 벡터가 제로값(또는 임계값 이하)이 아닐 때 프레임/필드 모드 신호 및 현재 BAB의 이진 화소값들을 라인 L26을 통해 형상 부호화기(206) 및 재구성 블록(210)으로 각각 제공한다.
한편, 형상 부호화기(206)에서는, 라인 L26 상의 프레임/필드 모드 신호 및 라인 31 상의 MV(또는 MVD)에 의거하여, 프레임 또는 필드 기반으로하여 기부호화된 현재 형상 프레임 신호 및/또는 라인 L30을 통해 재구성 블록(210)으로부터 제공되는 이전 형상 프레임 신호를 이용하는 인터 또는 인트라 모드에서의 콘텍스트 기반 산술 부호화(CAE) 방법과 같은 잘 알려진 비트맵 기반 형상 부호화 방법을 통해 각 BAB의 이진 형상 신호를 부호화하는 데, 이때 발생되는 인트라/인터 모드 신호(S25) 등과 같은 부가 정보들은 라인 L28을 통해 후술하는 모드 부호화 블록(208)으로 전달되고, 인트라 CAE 또는 인터 CAE를 통해 부호화된 내용 정보(즉, BAB의 부호화된 이진 화소값)들은 라인 L27을 통해 후술하는 형상 데이터 MUX(212)로 전달된다.
다음에, 모드 부호화 블록(208)에서는 라인 L21 상의 모드 신호(S11, S22), 라인 L24 상의 모드 신호(S23, S24), 라인 L28 상의 모드 신호(S25) 등과 같은 부가 정보들을, 예를들면 호프만 부호화를 통해 부호화하며, 이와같이 부호화된 모드 신호들은 라인 L29를 통해 형상 데이터 MUX(116)로 제공된다.
다른한편, 재구성 블록(210)은, 특히 본 발명에 따른 움직임 벡터 부호화하는 기법에 직접 관련되는 부분인 것으로, 라인 L21 상의 모드 신호(S21, S22), 라인 L25 또는 라인 L26 상의 해당 BAB내 이진 화소값을 이용하여 움직임 추정을 위한 이전 형상 프레임을 재구성하고, 라인 L23 상의 현재 BAB와 이전 형상 프레임의 탐색 영역내 후보 BAB간의 블록 매칭을 통한 움직임 벡터(MV)를 추출하며, 현재 BAB의 MV와 움직임 벡터 예측자(MVP)간의 감산을 통해 움직임 벡터 차이(MVD)를 산출하여 라인 L31 상에 발생하는 데, 이러한 재구성 블록(210)에서의 구체적인 동작에 대해서는 그 세부적인 블록구성을 보여주는 도 3을 참조하여 하기에 상세하게 기술한다.
또한, 형상 데이터 MUX(212)에서는 라인 L29 상의 부호화된 다수의 모드 신호, 라인 L27 상의 인터 또는 인트라 부호화된 이진 형상 신호 및 라인 L31 상이 MV(MVD)를 부호화되는 BAB의 순서에 따라 순차적으로 다중화하며, 여기에서 다중화된 신호들은 라인 L12를 통해 도 1의 데이터 MUX(108)로 전달된다.
다음에, 본 발명에 따라 이진 형상 신호를 인터 모드 부호화시에 발생하는 움직임 벡터를 효과적으로 부호화하는 과정에 대하여 설명한다.
먼저, 본 발명의 가장 큰 핵심 기술요지는, 격행의 이진 형상 신호를 프레임 기반 또는 필드 기반으로하여 인터 모드 또는 인트라 모드로 부호화할 때 인터 모드에서 발생하는 BAB의 움직임 벡터(MV)를 효과적으로 부호화한다는 것으로, 프레임 기반 BAB에 대응하는 현재 형상 프레임내 기부호화된 다수의 인접 BAB 및 현재 텍스쳐 프레임내 기설정된 다수의 인접 텍스쳐 블록에서 프레임 기반의 MV(즉, MVP)가 존재하지 않는 경우에, MV와 MVP간의 MVD를 아니라 현재 BAB의 MV를 그대로 전송하는 전술한 종래 방법과는 달리, 현재 텍스쳐 프레임내에서 현재 BAB에 대응하는 위치의 텍스쳐 블록에 인접하는 다수의 텍스쳐 블록중 필드 기반 MV(즉, 상부 필드 블록 MV 및 하부 필드 블록 MV)가 존재하는 텍스쳐 블록이 있을 때 이 두 개의 필드 블록 MV를 이용하여 MVD의 생성에 필요로하는 MVP를 생성, 즉 두 필드 블록 MV를 평균을 취한 값을 현재 BAB의 MV에 대한 MVP로써 결정한다.
따라서, 본 발명에서는 현재 형상 프레임내 기부호화된 다수의 인접 BAB 및 현재 텍스쳐 프레임내 대응하는 텍스쳐 블록에 인접하는 다수의 인접 텍스쳐 블록에 프레임 기반의 MV가 존재하지 않고, 단지 현재 텍스쳐 프레임내 대응 텍스쳐 블록에 인접하는 다수의 인접 텍스쳐 블록에서 필드 기반의 텍스쳐 블록 MV(즉, 두 개의 상부 필드 블록 MV 및 하부 필드 블록 MV)만이 존재할 때 필드 기반 MV를 이용하여 형상 프레임내 현재 BAB의 MV에 대한 MVD를 산출하도록 함으로써, 이진 형상 신호의 인터 모드 부호화시에 발생하는 움직임 벡터에 기인하는 부호화 비트율의 증가를 최대한 억제할 수 있다.
도 3은 본 발명에 따라 이진 형상 신호를 인터 모드로 부호화할 때 발생하는 움직임 벡터를 부호화하는 방법을 적용하는 데 적합한 도 2에 도시된 재구성 블록(210)의 세부적인 블록구성도로써, 형상 재구성 블록(302), 메모리 블록(304), 움직임 추정 블록(306) 및 MVD 발생 블록(308)을 포함한다.
도 3을 참조하면, 형상 재구성 블록(302)에서는 라인 L21 상의 모드 신호, 즉 해당 BAB내 모든 이진 화소값들이 all_0 임을 의미하는 모드 신호(S21) 또는 해당 BAB내 모든 이진 화소값들이 all_255 임을 의미하는 모드 신호(S21), 라인 L25 상의 해당 BAB내 이진 화소값들, 즉 해당 BAB의 MV가 제로값(또는 임계값 이하)일 때 제공되는 해당 BAB의 이진 화소값들, 라인 L26 상의 해당 BAB내 이진 화소값들, 즉 CAE 방법으로 부호화될 이진 화소값들을 이용하여 움직임 추정을 위한 이전 형상 프레임을 재구성하고, 여기에서 재구성되는 이전 형상 프레임 신호는 다음단의 메모리 블록(304)에 저장되며, 이때 메모리 블록(304)에 저장되는 재구성된 이전 형상 프레임 신호는 도 2에 도시된 형상 부호화기(206)에서 인터 모드의 콘텍스트 기반 산술 부호화(CAE)를 수행할 때 이용되고, 또한 현재 BAB에 대한 움직임 추정시에 이용된다.
다음에, 움직임 추정 블록(306)에서는 라인 L23을 통해 도 2의 모드 검출 블록(202)으로부터 제공되는 프레임 기반의 현재 BAB와 메모리 블록(304)으로부터 제공되는 이전 프레임의 형상 정보간에 N×N 블록 단위(예를들면, 16×16의 이진 알파 블록(BAB))로 움직임을 추정, 예를들어 통상의 움직임 검출 기법을 통해 현재 프레임내 현재 N×N BAB(예를들면, 16×16 현재 BAB)와 이전 프레임의 P×P 탐색 영역(예를들면, 32×32 탐색 영역)내 다수의 N×N 이전 후보 BAB들간의 블록 매칭을 수행하여 다수의 이전 후보 BAB들중 그 오차값이 가장 작은 최적의 이전 후보 BAB를 결정하고, 현재 BAB와 결정된 최적 후보 BAB간의 변위를 나타내는 움직임 벡터(MV)를 산출하며, 이와같이 산출된 현재 BAB의 MV는 도 2의 모드 추출 블록(204) 및 MVD 발생 블록(308)으로 전달된다. 여기에서, 움직임 추정 블록(306)에서 도 2의 모드 추출 블록(204)로 산출된 MV를 전달하는 것은 현재 BAB의 MV가 제로(0)값(또는 기설정된 임계값 이하)일 때 라인 L24를 통해 해당 BAB의 움직임 벡터가 제로(또는 임계값 이하)이고 해당 BAB내의 이진 화소값들이 부호화되지 않음을 의미하는 모드 신호(S23)를 생성하기 위해서이다.
한편, MVD 발생 블록(308)은, 현재 형상 프레임내 기부호화된 BAB의 MV들을 저장하고 있으며, 상술한 움직임 추정 블록(306)으로부터 현재 BAB의 MV가 제공되면, 기저장된 현재 형상 프레임내 인접하는 다수의 인접 BAB의 MV에서 MVP를 결정, 일예로서 도 5a에 도시된 바와같이, 현재 BAB에 인접하는 기부호화된 현재 형상 프레임내 인접 BAB들의 MV들인 MVS1, MVS2, MVS3 중의 어느 하나를 MVP로 결정, 즉 MVS1, MVS2, MVS3를 순차 탐색하여 MV가 존재하는 인접 BAB의 MVS를 현재 BAB의 MV에 대한 MVD의 산출을 위한 MVP로 결정하며, 현재 BAB의 MV와 결정된 MVP간의 MVD를 산출하여 라인 L30 및 L31을 통해 도 2의 형상 부호화기(206) 및 형상 데이터 MUX(212)로 각각 전달한다.
또한, MVD 발생 블록(308)에서는 현재 BAB에 인접하는 기부호화된 현재 형상 프레임내 인접 BAB들이 MV들을 갖지 않는 것으로 판단, 즉 기설정된 현재 형상 프레임내 인접 BAB들이 인트라 모드로 부호화된 BAB들인 것으로 판단되면, 라인 L14를 통해 도 1의 텍스쳐 부호화 블록(106)으로부터 제공되는 텍스쳐 블록들의 MV들, 즉 일예로서 도 5b에 도시된 바와같이, 현재 BAB에 대응하는 위치에 있는 대응 텍스쳐 블록(MVT)에 인접하는 기부호화된 텍스쳐 프레임내 다수의 인접 텍스쳐 블록들의 MV들인 MVT1, MVT2, MVT3를 순차 탐색하여 프레임 기반의 MV(예를들면, 16×16 프레임 블록에 대한 하나의 MV)가 존재하는 인접 텍스쳐 블록의 MVT를 현재 BAB의 MV에 대한 MVD의 산출을 위한 MVP로 결정하며, 현재 BAB의 MV와 결정된 MVP간의 MVD를 산출하여 라인 L30 및 L31을 통해 도 2의 형상 부호화기(206) 및 형상 데이터 MUX(212)로 각각 전달한다.
더욱이, MVD 발생 블록(308)에서는 대응 텍스쳐 블록(MVT)에 인접하는 기부호화된 텍스쳐 프레임내 다수의 인접 텍스쳐 블록들의 MV들인 MVT1, MVT2, MVT3를 순차 탐색한 결과, 프레임 기반의 MV가 존재하지 않는 것으로 판단되면, MVT1, MVT2, MVT3를 재차 탐색하여 필드 기반의 MV, 예를들면 16×16 프레임 블록을 각 8×16의 상부 필드 블록 및 하부 필드 블록으로 분할하여 추출한 상부 필드 블록 MV 및 하부 필드 블록 MV가 존재하는 지의 여부를 체크하는 데, 체크 결과 필드 기반 MV가 존재할 때 해당하는 인접 텍스쳐 블록의 두 필드 블록에 대한 두 MV의 평균을 취함으로써 MVP를 산출하며, 현재 BAB의 MV와 산출된 MVP간의 MVD를 산출한다.
즉, 본 발명에서는 현재 BAB의 MV에 대한 MVP를 결정할 때, 현재 BAB에 인접하는 기부호화된 현재 형상 프레임내 인접 BAB들의 MV들인 MVS1, MVS2, MVS3, 현재 BAB에 대응하는 위치에 있는 대응 텍스쳐 블록(MVT)에 인접하는 기부호화된 텍스쳐 프레임내 다수의 인접 텍스쳐 블록들에 대한 프레임 기반 또는 필드 기반의 MV들인 MVT1, MVT2, MVT3를 참조하여 최종 MVP를 결정하는 데, 이러한 MVP의 결정 및 그에 따른 MVD의 산출 과정에 대해서 그 과정을 도시한 도 4를 참조하여 보다 상세하게 설명한다.
도 4는 본 발명의 바람직한 실시예에 따라 형상 정보의 움직임 벡터 예측자 또는 텍스쳐 정보의 움직임 예측자를 이용하여 이진 형상 신호의 움직임 벡터를 부호화하는 과정을 도시한 플로우챠트이다.
도 4를 참조하면, MVD 발생 블록(308)에서는 현재 BAB에 대한 MV가 추출되면(단계 402), 자신이 저장하고 있는 현재 형상 프레임내 기부호화된 인접 BAB의 MV(예를들면, 도 5a에 도시된 MVS1, MVS2, MVS3)들을 순차 탐색하여 MV를 갖는 인접 BAB가 존재하는 지의 여부를 검색한다(단계 404).
상기 단계(404)에서의 검색 결과, MV를 갖는 인접 BAB가 존재하는 것으로 판단되면, 해당 인접 BAB의 MV(예를들면, MVS1)를 현재 BAB의 MV에 대한 최종 MVP로 결정하여 현재 BAB의 MV와의 MVD를 산출한 다음(단계 406), 처리는 단계(418)로 진행되며, 단계(418)에서는 산출된 MVD, 즉 현재 BAB의 MV와 인접 BAB의 MVP간에 산출된 MVD를 형상 부호화기(206) 및 형상 데이터 MUX(212)로 각각 전달한다. 이때, 형상 부호화기(206)로 전달되는 MVD는 인터 CAE 방법의 수행시에 필요한 재구성된 이전 형상 프레임내 이전 콘텍스트의 위치를 설정하는 데 이용된다.
다음에, 단계(404)에서의 검색 결과, MV를 갖는 인접 BAB가 존재하지 않는 것으로 판단되면, MVD 발생 블록(308)에서는 라인 L14를 통해 텍스쳐 부호화 블록(106)으로부터 제공되는 텍스쳐 블록들, 일예로서 도 5b에 도시된 바와같이, 현재 BAB에 대응하는 위치에 있는 대응 텍스쳐 블록(MVT)에 인접하는 기부호화된 텍스쳐 프레임내 다수의 인접 텍스쳐 블록들의 MV들인 MVT1, MVT2, MVT3를 순차 탐색하여 프레임 기반의 MV를 갖는 인접 텍스쳐 블록이 존재하는 지의 여부를 검색한다(단계 408).
상기 단계(408)에서의 검색 결과, 프레임 기반의 MV를 갖는 인접 텍스쳐 블록이 존재하는 것으로 판단되면, 해당 인접 텍스쳐 블록의 MV(예를들면, MVT1)를 현재 BAB의 MV에 대한 최종 MVP로 결정하여 현재 BAB의 MV와의 MVD를 산출한 다음(단계 412), 처리는 단계(418)로 진행되며, 단계(418)에서는 산출된 MVD, 즉 현재 BAB의 MV와 인접 텍스쳐 블록의 MVP간에 산출된 MVD를 형상 부호화기(206) 및 형상 데이터 MUX(212)로 각각 전달한다.
한편, 상기 단계(408)에서의 검색 결과, 프레임 기반의 MV를 갖는 인접 텍스쳐 블록이 존재하지 않는 것으로 판단되면, MVD 발생 블록(308)에서는 인접 텍스쳐 블록의 MVT1, MVT2, MVT3를 재차 탐색하여 필드 기반의 MV, 즉 16×16 프레임 블록을 각 8×16의 상부 필드 블록 및 하부 필드 블록으로 분할하여 추출한 두 개의 필드 MV(즉, 상부 필드 블록 MV 및 하부 필드 블록 MV)를 갖는 인접 텍스쳐 블록이 존재하는 지의 여부를 검색한다(단계 410).
상기 단계(410)에서의 검색 결과, 필드 기반의 MV를 갖는 인접 텍스쳐 블록이 존재하는 것으로 판단되면, 해당 인접 텍스쳐 블록의 두 MV, 즉 상부 필드 블록 MV와 하부 필드 블록 MV를 합하여 그 평균을 취함으로써, 현재 BAB의 MV에 대한 새로운 MVP를 산출하고(단계 414), 현재 BAB의 MV와 이 산출된 새로운 MVP간의 MVD를 산출한 다음(단계 416), 처리는 단계(418)로 진행되며, 단계(418)에서는 산출된 MVD, 즉 현재 BAB의 MV와 인접 텍스쳐 블록의 두 필드 블록 MV의 평균을 취하여 얻은 새로운 MVP간에 산출된 MVD를 형상 부호화기(206) 및 형상 데이터 MUX(212)로 각각 전달한다.
다른한편, 상기 단계(410)에서의 검색 결과, 프레임 기반 MV 뿐만 아니라 필드 기반의 MV를 갖는 인접 텍스쳐 블록이 존재하지 않는 것으로 판단되면, 처리는 단계(418)로 바로 진행되며, 단계(418)에서는 현재 BAB의 MV를 형상 부호화기(206) 및 형상 데이터 MUX(212)로 각각 전달한다.
따라서, 본 발명에서는 상술한 바와같은 과정을 통해 현재 형상 프레임내 기부호화된 다수의 인접 BAB 및 현재 텍스쳐 프레임내 대응하는 텍스쳐 블록에 인접하는 다수의 인접 텍스쳐 블록에 프레임 기반의 MV가 존재하거나 혹은 대응 텍스쳐 블록에 인접하는 다수의 인접 텍스쳐 블록에 필드 기반의 MV가 존재할 때, 현재 BAB의 MV에 대한 MVP를 결정할 수 있도록 함으로써, 이진 형상 신호의 인터 모드 부호화시에 발생하는 움직임 벡터에 기인하는 부호화 비트율을 절감할 수 있다.
이상 설명한 바와같이 본 발명에 의한 이진 형상 신호의 움직임 벡터 부호화 방법에 따르면, 현재 형상 프레임내 기부호화된 다수의 인접 BAB 및 현재 텍스쳐 프레임내 대응하는 텍스쳐 블록에 인접하는 다수의 인접 텍스쳐 블록에 프레임 기반의 MV가 존재하지 않는 경우, 대응 텍스쳐 블록에 인접하는 다수의 인접 텍스쳐 블록에 존재 가능한 필드 기반 MV를 이용하여 현재 BAB의 MV에 대한 MVP를 산출하도록 함으로써, 이진 형상 신호의 인터 모드 부호화시에 발생하는 움직임 벡터에 기인하는 부호화 비트율의 증가를 최대한 억제할 수 있어 이진 형상 신호의 부호화 효율을 증진시킬 수 있다.

Claims (2)

  1. 격행 영상 프레임의 물체 평면에서 추출한 형상 정보를 N×N의 이진 알파 블록(BAB)으로 분할하여 형상 정보의 특성을 나타내는 다수의 모드 신호 및 화소값들인 내용 정보를 CAE로 인터 부호화 또는 인트라 부호화하고, 영상 프레임의 물체 평면에서 추출한 텍스쳐 정보를 N×N의 프레임 블록으로 분할하여 프레임 기반 또는 필드 기반으로 인터 부호화 또는 인트라 부호화를 할 때, 현재 BAB와 재구성된 이전 형상 프레임간의 움직임 추정을 추출되는 움직임 벡터(MV)를 부호화하는 방법에 있어서,
    부호화하고자 하는 현재 N×N BAB와 상기 재구성된 이전 형상 프레임의 P×P 탐색 영역내 다수의 이전 후보 N×N BAB간의 블록 매칭을 수행하여 상기 현재 N×N BAB의 현재 MV를 추출하는 제 1 과정;
    상기 현재 N×N BAB에 인접하는 현재 형상 프레임내 기설정된 다수의 인접 N×N BAB의 MV들 및 상기 현재 N×N BAB에 대응하는 위치에 있는 현재 텍스쳐 프레임내 대응 N×N 텍스쳐 블록에 인접하는 기설정된 다수의 인접 N×N 텍스쳐 블록의 프레임 기반 MV들중의 어느 하나를 상기 추출된 현재 MV에 대한 제 1 움직임 벡터 예측자(MVP)로 결정하는 제 2 과정;
    상기 추출된 현재 MV와 상기 결정된 MVP간의 움직임 벡터 차이(MVD)를 산출하며, 이 산출된 MVD를 상기 현재 N×N BAB의 최종 MV로써 전송하는 제 3 과정; 및
    상기 다수의 인접 N×N BAB 및 상기 다수의 N×N 텍스쳐 블록에 프레임 기반의 MV가 존재하지 않으면, 상기 다수의 N×N 텍스쳐 블록들중 N×N 텍스쳐 블록을 각 M×N의 상부 및 하부 필드 블록으로 분할하여 추출한 두개의 필드 MV를 갖는 N×N 텍스쳐 블록의 두 필드 MV를 이용하여 상기 추출된 현재 MV에 대한 제 2 MVP를 산출하고, 상기 추출된 현재 MV와 상기 산출된 제 2 MVP간의 MVD를 산출하며, 이 산출된 MVD를 상기 현재 N×N BAB의 최종 MV로써 전송하는 제 4 과정으로 이루어진 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법.
  2. 제 1 항에 있어서, 상기 제 4 과정은:
    상기 다수의 N×N 텍스쳐 블록들중 N×N 텍스쳐 블록을 각 M×N의 상부 및 하부 필드 블록으로 분할하여 추출한 두개의 필드 MV를 갖는 N×N 텍스쳐 블록이 존재하는 지의 여부를 검색하는 제 41 과정;
    상기 검색 결과, 상기 두개의 필드 MV를 갖는 N×N 텍스쳐 블록이 존재하면, 상기 두 필드 MV의 평균을 취하여 상기 제 2 MVP를 산출하며, 상기 추출된 현재 MV와 상기 산출된 제 2 MVP간의 MVD를 산출하고, 이 산출된 MVD를 상기 추출된 현재 N×N BAB의 최종 MV로써 전송하는 제 42 과정; 및
    상기 검색 결과, 상기 두개의 필드 MV를 갖는 N×N 텍스쳐 블록이 존재하지 않으면, 상기 추출된 현재 MV를 상기 현재 N×N BAB의 최종 MV로써 전송하는 제 43 과정을 포함하는 것을 특징으로 하는 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법.
KR1019980011093A 1998-03-30 1998-03-30 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법 KR100281462B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1019980011093A KR100281462B1 (ko) 1998-03-30 1998-03-30 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법
PCT/KR1998/000147 WO1999051034A1 (en) 1998-03-30 1998-06-08 Method and apparatus for encoding a motion vector of a binary shape signal
EP98925954A EP1075765B1 (en) 1998-03-30 1998-06-08 Method and apparatus for encoding a motion vector of a binary shape signal
AU77895/98A AU748276B2 (en) 1998-03-30 1998-06-08 Method and apparatus for encoding a motion vector of a binary shape signal
DE1998634348 DE69834348T2 (de) 1998-03-30 1998-06-08 Verfahren und vorrichtung zur bewegungsvektorkodierung eines binären kontursignals
ES98925954T ES2263208T3 (es) 1998-03-30 1998-06-08 Procedimiento y aparato para codificar un vector de movimiento de una señal binaria de contorno.
CNB98102680XA CN1147153C (zh) 1998-03-30 1998-06-26 对二进制形状信号的运动矢量进行编码的方法和装置
JP18874498A JP3924071B2 (ja) 1998-03-30 1998-07-03 映像信号符号化装置
US09/132,663 US6243418B1 (en) 1998-03-30 1998-08-12 Method and apparatus for encoding a motion vector of a binary shape signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980011093A KR100281462B1 (ko) 1998-03-30 1998-03-30 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법

Publications (2)

Publication Number Publication Date
KR19990076276A KR19990076276A (ko) 1999-10-15
KR100281462B1 true KR100281462B1 (ko) 2001-02-01

Family

ID=36371734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980011093A KR100281462B1 (ko) 1998-03-30 1998-03-30 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법

Country Status (9)

Country Link
US (1) US6243418B1 (ko)
EP (1) EP1075765B1 (ko)
JP (1) JP3924071B2 (ko)
KR (1) KR100281462B1 (ko)
CN (1) CN1147153C (ko)
AU (1) AU748276B2 (ko)
DE (1) DE69834348T2 (ko)
ES (1) ES2263208T3 (ko)
WO (1) WO1999051034A1 (ko)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100523908B1 (ko) * 1997-12-12 2006-01-27 주식회사 팬택앤큐리텔 격행주사 영상에 대한 영상신호 부호화 장치 및 그 방법
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US6983018B1 (en) * 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6483874B1 (en) * 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
US6973126B1 (en) * 1999-03-05 2005-12-06 Kdd Corporation Video coding apparatus according to a feature of a video picture
US6671319B1 (en) 1999-12-28 2003-12-30 Sony Corporation Methods and apparatus for motion estimation using neighboring macroblocks
US6483876B1 (en) * 1999-12-28 2002-11-19 Sony Corporation Methods and apparatus for reduction of prediction modes in motion estimation
US6690728B1 (en) 1999-12-28 2004-02-10 Sony Corporation Methods and apparatus for motion estimation in compressed domain
JP2002064821A (ja) * 2000-06-06 2002-02-28 Office Noa:Kk 動画像情報の圧縮方法およびそのシステム
WO2003053066A1 (en) 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7092442B2 (en) * 2002-12-19 2006-08-15 Mitsubishi Electric Research Laboratories, Inc. System and method for adaptive field and frame video encoding using motion activity
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7577200B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
KR100703760B1 (ko) * 2005-03-18 2007-04-06 삼성전자주식회사 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
US20060222251A1 (en) * 2005-04-01 2006-10-05 Bo Zhang Method and system for frame/field coding
US20060230428A1 (en) * 2005-04-11 2006-10-12 Rob Craig Multi-player video game system
US8118676B2 (en) * 2005-07-08 2012-02-21 Activevideo Networks, Inc. Video game system using pre-encoded macro-blocks
US8284842B2 (en) 2005-07-08 2012-10-09 Activevideo Networks, Inc. Video game system using pre-encoded macro-blocks and a reference grid
US9061206B2 (en) * 2005-07-08 2015-06-23 Activevideo Networks, Inc. Video game system using pre-generated motion vectors
US8270439B2 (en) * 2005-07-08 2012-09-18 Activevideo Networks, Inc. Video game system using pre-encoded digital audio mixing
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
US9077960B2 (en) * 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
KR20070074451A (ko) * 2006-01-09 2007-07-12 엘지전자 주식회사 베이스 레이어의 영상신호를 레이어간 예측에 사용하는방법
KR100914713B1 (ko) 2006-01-09 2009-08-31 엘지전자 주식회사 영상 신호의 레이어 간 예측 방법
US7903894B2 (en) * 2006-10-05 2011-03-08 Microsoft Corporation Color image coding using inter-color correlation
WO2008088741A2 (en) 2007-01-12 2008-07-24 Ictv, Inc. Interactive encoded content system including object models for viewing on a remote device
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
KR101337206B1 (ko) 2007-10-12 2013-12-06 삼성전자주식회사 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
CN101505419B (zh) * 2008-02-05 2011-06-15 晨星半导体股份有限公司 一种决定移动向量的影像处理装置及其相关方法
CN101272498B (zh) * 2008-05-14 2010-06-16 杭州华三通信技术有限公司 一种视频编码方法及视频编码装置
CN101631241B (zh) * 2008-07-14 2011-05-25 晨星软件研发(深圳)有限公司 影像处理方法及装置
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8194862B2 (en) * 2009-07-31 2012-06-05 Activevideo Networks, Inc. Video game system with mixing of independent pre-encoded digital audio bitstreams
CA2814070A1 (en) 2010-10-14 2012-04-19 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
EP2695388B1 (en) 2011-04-07 2017-06-07 ActiveVideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
WO2013106390A1 (en) 2012-01-09 2013-07-18 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
WO2014145921A1 (en) 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
US9326047B2 (en) 2013-06-06 2016-04-26 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
CN113079372B (zh) * 2021-06-07 2021-08-06 腾讯科技（深圳）有限公司 帧间预测的编码方法、装置、设备及可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU570439B2 (en) * 1983-03-28 1988-03-17 Compression Labs, Inc. A combined intraframe and interframe transform coding system
JPH04177992A (ja) * 1990-11-09 1992-06-25 Victor Co Of Japan Ltd 階層性を有する画像符号化装置
JP3374989B2 (ja) * 1993-03-26 2003-02-10 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置
JP3050736B2 (ja) * 1993-12-13 2000-06-12 シャープ株式会社 動画像符号化装置
KR0170932B1 (ko) * 1994-12-29 1999-03-20 배순훈 영상의 시각적, 기하학적 특성에 따른 고속 움직임 추정장치
JP3169783B2 (ja) * 1995-02-15 2001-05-28 日本電気株式会社 動画像の符号化・復号システム
KR0181052B1 (ko) * 1995-03-31 1999-05-01 배순훈 고화질 영상 시스템의 영역 분할 장치
DE69609702T2 (de) * 1995-10-25 2001-04-12 Koninkl Philips Electronics Nv Verfahren und system zur kodierung segmentierter bilder sowie entsprechendes dekodierungsverfahren und -system
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
KR100256022B1 (ko) * 1997-10-14 2000-05-01 전주범 이진형상신호부호화에있어서의모드부호화방법
KR100258111B1 (ko) * 1997-10-31 2000-06-01 전주범 이진형상신호적응적부호화장치
US6094225A (en) * 1997-12-02 2000-07-25 Daewoo Electronics, Co., Ltd. Method and apparatus for encoding mode signals for use in a binary shape coder
US5973743A (en) * 1997-12-02 1999-10-26 Daewoo Electronics Co., Ltd. Mode coding method and apparatus for use in an interlaced shape coder

Also Published As

Publication number Publication date
EP1075765A1 (en) 2001-02-14
AU7789598A (en) 1999-10-18
CN1147153C (zh) 2004-04-21
KR19990076276A (ko) 1999-10-15
JPH11298906A (ja) 1999-10-29
DE69834348T2 (de) 2006-09-14
DE69834348D1 (de) 2006-06-01
EP1075765B1 (en) 2006-04-26
WO1999051034A1 (en) 1999-10-07
AU748276B2 (en) 2002-05-30
JP3924071B2 (ja) 2007-06-06
CN1230855A (zh) 1999-10-06
US6243418B1 (en) 2001-06-05
ES2263208T3 (es) 2006-12-01

Similar Documents

Publication Publication Date Title
KR100281462B1 (ko) 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법
KR100306070B1 (ko) 이진형상신호부호화장치및방법
US6094225A (en) Method and apparatus for encoding mode signals for use in a binary shape coder
US5973743A (en) Mode coding method and apparatus for use in an interlaced shape coder
US5978048A (en) Method and apparatus for encoding a motion vector based on the number of valid reference motion vectors
KR100281329B1 (ko) 이진 형상 신호의 모드 신호 부호화 방법 및 그 복원 방법
US6069976A (en) Apparatus and method for adaptively coding an image signal
US6133955A (en) Method for encoding a binary shape signal
KR100303085B1 (ko) 이진형상신호부호화장치및방법
US6049567A (en) Mode coding method in a binary shape encoding
JP3974244B2 (ja) ２値形状信号符号化装置
KR100291719B1 (ko) 이진 형상 신호의 움직임 벡터 부호화 장치 및 방법
KR100535630B1 (ko) 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법
KR20000021867A (ko) 이진 형상 신호의 움직임 벡터 부호화 방법
EP0923250A1 (en) Method and apparatus for adaptively encoding a binary shape signal
KR100620715B1 (ko) 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법
KR100283579B1 (ko) 격행형상코더에사용하기위한모드코딩방법및장치
KR100559713B1 (ko) 격행주사를 위한 색상 정보 부호화/복호화 장치 및 그 방법
KR100632105B1 (ko) 디지털 비월주사 인트라픽쳐 부호화/복호화 방법
KR100285593B1 (ko) 이미지 신호 적응적 부호화 장치
MXPA00008745A (en) Method and apparatus for encoding a motion vector of a binary shape signal
JPH11187394A (ja) ２値形状信号符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121101

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20131108

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20141111

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20151030

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20161012

Year of fee payment: 17

FPAY Annual fee payment

Payment date: 20171024

Year of fee payment: 18

EXPY Expiration of term