JPH11150730A - 下層と現在層のモードを利用した伸縮型二進映像符号化/復号化方法及び装置 - Google Patents

下層と現在層のモードを利用した伸縮型二進映像符号化/復号化方法及び装置

Info

Publication number
JPH11150730A
JPH11150730A JP19480998A JP19480998A JPH11150730A JP H11150730 A JPH11150730 A JP H11150730A JP 19480998 A JP19480998 A JP 19480998A JP 19480998 A JP19480998 A JP 19480998A JP H11150730 A JPH11150730 A JP H11150730A
Authority
JP
Japan
Prior art keywords
mode
layer
coded
current
lower layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP19480998A
Other languages
English (en)
Other versions
JP3596728B2 (ja
Inventor
Jin-Hak Lee
震 鶴 李
Joo-Hee Moon
柱 ▲ヒ▼ 文
Sung-Moon Chun
勝 文 千
Hae Kwang Kim
海 光 金
Jae Kyoon Kim
在 均 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
Hyundai Electronics Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1019970038946A external-priority patent/KR19990016416A/ko
Priority claimed from KR1019980009479A external-priority patent/KR19990075333A/ko
Application filed by Hyundai Electronics Industries Co Ltd filed Critical Hyundai Electronics Industries Co Ltd
Publication of JPH11150730A publication Critical patent/JPH11150730A/ja
Application granted granted Critical
Publication of JP3596728B2 publication Critical patent/JP3596728B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 符号化方法を表示する付加情報の種類と、付
加情報の種類を減らして符号化効率を向上させる、下層
と現在層のモードを利用した伸縮型二進映像符号化/復
号化方法及び装置を提供する。 【解決手段】 “all_0”、“all_255”または“In
tra predicted”に決定されたMBの全ては“Intra not
coded”として伝送される。受信端では、下階層の画素
を参照し“Intra not coded”モードから“all_0”、
“all_255”、“Intra predicted”を区別する。“I
nter coded && MVD=0”と“Inter coded && MVD!=
0”は“Inter coded”に、“Inter not coded && MVD
=0”と“Inter not coded && MVD!=0”は“Inter
not coded”に表現することで、I−ピクチャは符号化
モードを2つのモードに減らすことができ、P−ピクチ
ャ(またはB−ピクチャ)は符号化モードを4種つに減
らすことができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、二進映像の符号化
/復号化に関するもので、特に下層と現在層の相関性を
考慮して二進映像の符号化モードを減らし、その相関性
に従ってモード符号化ビットを割り当てて符号化ビット
量を減らす下層と現在層のモードを利用した伸縮型二進
映像符号化/復号化方法及び装置に関する。
【0002】
【従来の技術】伸縮型(Scalable)符号化は、解像度が
異なる複数個の層(基本層(base layer)、高位層)を
伝送し復号化することができる機能である。複数個の異
なる解像度を有する情報を伝送するためには、一般的な
符号化方法よりさらに多い情報を伝送しなければならな
い。伝送する情報量を減らすために、図15に図示のよ
うに低解像度の基本層(base layer)を利用し、高解像
度の高位層(enhancement layer)を推定する方法を適
用する。
【0003】二進映像情報を複数個の層(layer)を用
いて伸縮型(Scalable)符号化する方法においても、前
記のように基本層を利用するか、または複数層により構
成された場合、高位層では下層を用いて効果的に符号化
する。
【0004】図15は、一般的な映像情報の伸縮型符号
化方法を示す。ここでは、高位層の1段階のみ表示した
が、一般的に多段階の高位層が含まれる。従って、現在
階層(current layer)のすぐ下の下位階層(lower lay
er)は最下位階層(基本層)であることもあり、高位層
中の一階層であることもある。二進映像(binary imag
e)情報に対する伸縮型符号化方法も、一般的な伸縮型
符号化方法と同じ構造を有する。
【0005】二進映像に対する高位層を符号化するため
に、イントラ映像(“Intra-Picture)の高位層の場合
は、図15に図示のようにすぐ下層(lower layer)か
ら予測して符号化する。高位層の予測映像(Predicted-
Picture)の場合には、すぐ下層の映像と以前映像の両
方から予測して符号化する。
【0006】映像情報を符号化する過程においては、ブ
ロック単位(16×16の大きさ)の符号化を遂行す
る。二進映像情報に対するブロック(Macro Block:以
下、MBと称す)を符号化する際に、高位層のI−ピク
チャ(I-Picture)または高位層のP−ピクチャ(P-Pic
ture)において、Intra MB、すなわち、二進映像から
予測せずに、自分の下層のみを使用して符号化しなけれ
ばならないMBは、ISO/IEC WG11のVM
(verification Model)7.0に提示されたスキャンイ
ンターリーブ(scan Interleaving)方法を使用して符
号化しなければならない。そして、その以外のMBは、
基本層の符号化方法であるCAE方法を使用して符号化
する。
【0007】スキャンインターリーブ方法が図16に図
示されている。基本層で高位層を符号化するために、下
と上の二つの隣接する画素値を利用する。もし、二つの
隣接画素値が同一な場合、現在位置の画素値も同一値を
有する可能性が高い。従って、二つの隣接画素値が同一
で現在位置の画素値も二つの隣接画素値と同一な場合は
符号化しなくてもよい。
【0008】二つの隣接画素値が異なる場合は、現在位
置の画素値を符号化しなければならない。この場合をト
ランジショナルサンプルデータ(TSD:Transitional
Sample Data)という。そして、二つの隣接画素値は同
一であるが、現在位置の画素値が異なる場合も符号化し
なければならない。この場合をエクセプショナルサンプ
ルデータ(ESD:Exceptional Sample Data)とい
う。従って、高位層をスキャンインターリーブ方法を用
いて符号化するためには、2種類のデータ(TSD、E
SD)を符号化しなければならない。
【0009】スキャンインターリーブ方法を用いて符号
化する場合、TSDとESDを符号化するために、ま
ず、ESDの存在有無に対する情報が伝送され、ESD
が存在するMBと存在しないMBに対してスキャンイン
ターリーブの適用範囲を異なるようにする。
【0010】図17(a)及び(b)は、CAE(Cont
ext-based Arithmetic EnCode)方法に使用されるコン
テキストを示す。図17(a)に図示のように、符号化
対象画素Yを囲む周辺画素により構成されるコンテキス
トの位置によってコンテキストインデックス(Context_
ID)が決定される。X、Y位置の情報を伝送するために
C0−C6から構成されるコンテキストインデックス
(Context_ID)形態の発生頻度数によって既に決定され
ているArithmetic符号化テーブルにより符号化される。
【0011】
【発明が解決しようとする課題】このように、スキャン
インターリーブ方法により符号化しないMBは、基本層
(base layer)の符号化方法と同じ方法(例えば、CA
E方法)を使用して符号化する。その中の高位層のP−
ピクチャにおいて、Inter MBは、動きベクトル(motion
vector)を用いて二進映像から予測して符号化する。
【0012】また、他の場合は、MB内の全ての画素が
‘0’値を有するか、または全ての画素が‘255’の
値を有する場合は符号化する必要がなく、“全ての画素
が‘0’である”または“全ての画素画‘255’であ
る”という付加情報(Mode情報)のみを伝送する。ここ
で、符号化しようとする映像は二進映像であるので、各
画素は‘0’または‘255’の2つの値のみを有する
ことができる。一般的に‘0’は背景(background)を
表し、‘255’は物体(object)を示す。
【0013】このように二進映像を符号化するために
は、各MBによって符号化方法が異なるように決定さ
れ、各MBがどのような符号化方法を使用したかに対す
る付加情報(Mode)を伝送しなければならない。この場
合、付加情報(Mode)に対する種類と付加情報の符号
(first shape Code)に対するテーブルが必要である。
【0014】I−ピクチャとP−ピクチャ、そしてB−
ピクチャの高位層に対する既存の付加情報(Mode)の構
成は下記のとおりである。
【0015】<I−ピクチャの高位層のモード> 1)all_0:MB内の全ての画素が背景(“0”) 2)all_255:MB内の全ての画素が物体(“25
5”) 3)Intra coded:ESD(Exceptional Sample Data)
が存在すれば、MB内の全ての画素に対してスキャンイ
ンターリーブ方法を使用して符号化する。ESDが存在
しなければTSD(Transitional Sample Data)のみス
キャンインターリーブ方法を使用して符号化する。
【0016】<P−ピクチャまたはB−ピクチャの高位
層のモード> 1)all_0:前記の説明と同一 2)all_255:前記の説明と同一 3)Intra coded:前記の説明と同一 4)Intra not coded:下位階層の領域を補間(Interpo
lation)して作ったMBが現在階層のMBとの差が基準
値以下 5)Inter coded && MVD=0:動きベクトルを使用して
以前映像から持ってきたMBと現在MBを使用しCAE
(Context based Arithmetic Encoding)で符号化す
る。動きベクトルは“0”。
【0017】6)Inter not coded && MVD=0:動きベ
クトルを使用して以前映像から持ってきたMBと現在M
Bの差が基準値以下であり、動きベクトルは“0”。 7)Inter coded && MVD!=0:動きベクトルを使用し
て以前映像から持ってきたMBと現在MBを使用してC
AE符号化。 8)Inter not coded && MVD!=0:動きベクトルを使
用して以前映像から持ってきたMBと現在MBとの差が
基準値以下。
【0018】前記のように符号化されたデータは下記の
ように復号化される。二進映像の各MBに対するビット
ストリーム(bit stream)の最初にモードを表示する付
加情報が入っている。各MBを復号化するために、まず
ビットストリームからモード情報を読む。
【0019】P−ピクチャとB−ピクチャの高位層に対
する既存の付加情報(Mode)を伝送するための符号化テ
ーブルが構成されている。この時、伝送されるビット数
を減らすために、下の階層または以前映像から予測して
構成する。構成方法は、すぐ下の階層の該当MBが“al
l_0”または“all_255”の場合とその以外の場合と
に対する符号化テーブルが構成される。
【0020】すぐ下の階層の該当MBモードのすべてが
“all_0”でもなく“all_255”でもない場合は、す
ぐ以前の映像の同じ階層の該当MBのモードによって符
号化テーブルが構成される。
【0021】<すぐ下の階層の該当MBモードのすべて
が“all_0”の場合> Mode Code (1) 0111 (2) 0110001 (3) 0110000 (4) 010 (5) 00 (6) 01101 (7) 011001 (8) 1
【0022】<すぐ下の階層の該当MBモードのすべて
が“all_255”の場合> Mode Code (1) 1 (2) 0010100 (3) 000 (4) 0010101 (5) 0011 (6) 001011 (7) 00100 (8) 01
【0023】各MB当たり高位層に対する既存の付加情
報(Mode)は、I−ピクチャの場合に3種類(all_0、
all_255、Intra coded)であり、P−ピクチャの場
合に8種類(all_0、all_255、Intra coded、Intra
not coded、Inter coded &&MVD=0、Inter not coded
&& MVD=0、Inter coded && MVD!=0、Inter notcod
ed && MVD!=0)である。付加情報の種類が多ければ各
モードを表現するためのビット数が多くなり、従って、
伝送されるビット量が多いことを意味する。
【0024】図18は現在層(current layer)と下層
(lower layer)間の関係を説明する。現在層と下層の
映像は互いに大きさが同一な場合もあり、異なる場合も
ある。大きさが互いに異なる場合、垂直、水平に共に異
なることもあり、一方向のみ異なる場合もある。図18
は、水平のみ異なる場合を説明する。映像の大きさが異
なっても、全層の各MBの大きさ(16×16)は一定
である。従って、現在層の映像が下層の映像より大きい
場合は、現在層のMBは下層のMB内に含まれる(現在
層のMB多数個が下層の1個のMBに該当する)。即
ち、現在層の映像がダウンサンプリングされ、下層の映
像を構成するからである。図18に図示のように、現在
層が下層の2倍の大きさであり、この場合は現在層のM
Bが下層MBの半分(下層の斜線領域)に該当する。
【0025】本発明は前記のような従来の問題点を解消
するためのもので、本発明の目的は、符号化方法を表示
する付加情報の種類と、付加情報の種類を減らして符号
化効率を向上させる、下層と現在層のモードを利用した
伸縮型二進映像符号化/復号化方法及び装置を提供する
ものである。
【0026】
【課題を解決するための手段】前記のような目的を達成
するために、本発明に係る下層と現在層のモードを利用
した伸縮型二進映像符号化方法は、二進映像を解像度が
異なる複数個の階層に符号化する伸縮型符号化方法にお
いて、高位層の映像を所定の大きさのブロックに分割す
る第1段階と、前記高位層のブロックとそれに対応する
下層の領域内の画素とを比較して同一の場合、または同
一でなくても差のある画素の個数が基準値以下の場合に
は1つのモードに設定してそのモードを表示する付加情
報を伝送する第2段階と、前記の第2段階以外の場合
は、前記高位層のブロックを符号化し、そのモードを表
示する付加情報と共に伝送する第3段階とを備えること
を特徴とするものである。
【0027】また、前記第3段階の符号化方法は、CA
E(Context based Arithmetic Encoding)方法である
ことを特徴とするものである。
【0028】また、本発明に係る下層と現在層のモード
を利用した伸縮型二進映像復号化方法は、二進映像を解
像度が異なる複数個の階層に復号化する伸縮型復号化方
法において、符号化モードを表示する付加情報と符号化
データとを受信して復号化する段階と、前記付加情報が
符号化しないモードの場合、下層を参照して下層の該当
領域の画素の全てが“0”の場合、高位層のMB(Macr
o Block)の全てを“0”に詰め、下層の該当領域の画
素の全てが“255”の場合、高位層のMBの全てを
“255”に詰め、下層の該当領域の全ての画素が
“0”または“255”でない場合、下層のMBからア
ップサンプリングして高位層のMBを作ることを特徴と
するものである。
【0029】また、他の発明に係る下層と現在層のモー
ドを利用した伸縮型二進映像符号化方法は、二進映像を
解像度が異なる複数個の階層に符号化する伸縮型符号化
方法において、P−ピクチャまたはB−ピクチャの符号
化モードを、下記のように4種類のモード (1)“Intra Not coded”(“all_0”、“all_25
5”、“intra not coded”) (2)“Intra coded” (3)“Inter Not coded”(“Inter not coded && MV
D=0”、“Inter not coded && MVD!=0”) (4)“Inter coded”(“Inter coded && MVD=
0”、“Inter coded && MVD!=0”) に定めることを特徴とするものである。
【0030】また、符号化モードが“Intra Not code
d”と“Intra coded”の場合、前記請求項1項の“Intr
a Not coded”と“Intra coded”と同じであり、“Inte
r Notcoded”は下層の動きベクトルを利用して、以前の
映像から持ってきたMBと比較して、差がある画素のM
B内の和が基準値以下の場合であり、“Inter coded”
は下層の動きベクトルを利用して、以前の映像から持っ
てきたMBと比較して、差がある画素のMB内の和が基
準値以上の場合であることを特徴とするものである。
【0031】また、“Inter coded”と“Inter not cod
ed”の場合、動きベクトルは基本層(base層)の動きベ
クトルを、現在層の映像の大きさの比率に調整して使用
することを特徴とするものである。
【0032】また、前記“Inter Not coded”の場合
は、下層の動きベクトルを使用して、以前の映像から持
ってきたMBを使用してCAEを遂行することによって
高位層MBを得ることを特徴とするものである。
【0033】また、さらに他の発明に係る下層と現在層
のモードを利用した伸縮型二進映像符号化方法は、二進
映像を解像度が異なる複数個の階層に符号化する伸縮型
符号化方法において、現在のマクロブロックが“Intra
not coded”であるかを判断する段階と、前記現在のマ
クロブロックが“Intra not coded”モードでない場
合、“Intra coded”モードを表示する付加情報を復号
化側に伝送し、現在マクロブロックをスキャンインター
リーブ方法により符号化して復号化側に伝送する段階
と、前記現在マクロブロックが“Intra not coded”モ
ードの場合、“Intranot coded”モードを表示する付加
情報を復号化側に伝送する段階を備えることを特徴とす
るものである。
【0034】また、前記現在マクロブロックをスキャン
インターリーブ方法により符号化して復号化側に伝送す
る段階は、ESDの存在有無に対する情報を送り、ES
Dが存在すればMB全体をCAE遂行し、ESDが存在
しなければTSD(Transitional Sample Data)のみC
AEを遂行することを特徴とするものである。
【0035】また、前記現在のマクロブロックが“Intr
a not coded”であるかを判断する過程は、現在マクロ
ブロックに該当する下層領域が“all_0”モードである
かを判断する第1段階と、前記下層領域が“all_0”モ
ードの場合、現在のマクロブロックが“all_0”モード
であるかを判断して、現在マクロブロックと対応する下
層領域が同時に“all_0”モードである場合、“Intra
not coded”モードを表示する付加情報を復号器側に伝
送する第2段階と、第2段階の判断で、現在マクロブロ
ックまたは対応する下層領域が“all_0”モードでない
場合、現在マクロブロックに対応する下層領域が“all_
255”モードであるかを判断する第3段階と、前記下
層領域が“all_255”モードの場合、現在マクロブロ
ックが“all_255”モードであるかを判断して、現在
マクロブロックと対応する下層領域が同時に“all_25
5”モードの場合、“Intra not coded”モードを表示
する付加情報を復号器側に伝送する第4段階と、第4段
階の判断で、現在のマクロブロックまたは対応する下層
領域が“all_255”モードでない場合、現在マクロブ
ロックが“Intra predicted”モードであるかを判断す
る第5段階と、現在マクロブロックが“Intra predicte
d”モードの場合、“Intra not coded”モードを表示す
る付加情報を復号器側に伝送する段階に進行し、現在マ
クロブロックが“Intra predicted”モードでない場
合、“Intra coded”または“Inter coded”モードを符
号化する段階に進行する第6段階を備えることを特徴と
するものである。
【0036】また、他の発明に係る下層と現在層のモー
ドを利用した伸縮型二進映像復号化方法は、二進映像を
解像度が異なる複数個の階層に符号化する伸縮型復号化
方法において、下層のMBが“all_0”であるか、現在
マクロブロックのMBに該当する下層領域内の全ての画
素(sample)が0の場合、現在層MB内の全ての画素は
0に置換される段階と、前記下層のMBが“all_25
5”であるか、現在層MBに該当する下層領域内の全て
の画素が255の場合、現在層MB内の全ての画素は2
55に置換される段階と、前記下層のMBが“all_0”
でなく“all_255”でもなければ、前記下層から予測
されて構成されたMBを現在層のMBとして使用する段
階とを備えることを特徴とするものである。
【0037】また、さらに他の発明に係る下層と現在層
のモードを利用した伸縮型二進映像符号化方法は、二進
映像を解像度が異なる複数個の階層に符号化する伸縮型
符号化方法において、現在マクロブロックが“Intra no
t coded”であるかを判断する段階と、“Intra not cod
ed”の場合は符号化せず、“Intra not coded”モード
を表示する付加情報のみを伝送する段階と、“Intra no
t coded”でなければ“Inter not coded”、“Inter co
ded”及び“Inter not coded”の動きベクトルは、下層
の動きベクトルをそのまま使用して動きベクトルを再生
する段階と、現在マクロブロックが“Inter not code
d”であるかを判断する段階と、“Internot coded”の
場合、現在マクロブロックを符号化せず、“Inter not
coded”モードを表示する付加情報のみ伝送する段階
と、現在マクロブロックが“Internot coded”でない場
合、現在マクロブロックが“Intra coded”であるかを
判断する段階と、現在マクロブロックが“Intra code
d”である場合、“Intra coded”モードを表示する付加
情報と現在マクロブロックをスキャンインターリーブ方
法により符号化する段階と、“Intra coded”でない場
合、“Inter coded”モードを表示する付加情報を伝送
し、現在マクロブロックをCAE符号化する段階とを備
えることを特徴とするものである。
【0038】また、さらに他の発明に係る下層と現在層
のモードを利用した伸縮型二進映像符号化方法は、二進
映像を解像度が異なる複数個の階層に符号化する伸縮型
符号化方法において、ビットストリーム(Bit stream)
からモードを復号化する段階と、前記のモードが“Intr
a not coded”の場合、下層の該当マクロブロックのモ
ードによって復号化せず画素を選択する段階と、“Intr
anot coded”でない場合、動きベクトルを再生する段階
と、現在マクロブロックが“Inter not coded”モード
であるかを判断する段階と、前記のモードが“Inter no
t coded”の場合は復号化せず、以前の映像で動き補償
して現在MBの画素を詰める段階と、“Inter not code
d”でない場合、現在マクロブロックが“Intra coded”
であるかを判断する段階と、“Intra coded”の場合
は、現在マクロブロックをスキャンインターリーブ方法
により復号化する段階と、“Intra coded”でない場
合、現在マクロブロックをCAE復号化する段階を備え
ることを特徴とするものである。
【0039】また、前記動きベクトルを再生する段階
で、“Inter Not coded”、“Inter coded”及び“Inte
r not coded”の動きベクトルは、下層の動きベクトル
をそのまま使用して動きベクトルを再生することを特徴
とするものである。
【0040】また、本発明に係る下層と現在層のモード
を利用した伸縮型二進映像符号化装置は、二進映像を解
像度が異なる複数個の階層に符号化する伸縮型符号化装
置において、その前端のサブサンプリング手段から映像
が入力されサブサンプリングする多数のサブサンプリン
グ手段と、前記のサブサンプリング手段でサブサンプリ
ングされた各層の映像が入力され、所定の大きさのマク
ロブロック単位に分割して出力する多数のスキャン順序
変換手段と、前記スキャン順序変換手段で各層の映像マ
クロブロック及び下層の映像ブロックと各層の以前の映
像が入力され、“all_0”、“all_255”、“Intra
not coded”の3種類のモードを1つのモードとして符
号化し、“Inter not Coded && MVD=0”と“Inter no
t coded&& MVD!=0”とを“Inter not coded”モード
に、そして“Inter coded && MVD=0”と“Inter code
d && MVD!=0”を“Inter coded”モードに置いて伸
縮型符号化する多数の伸縮型符号化手段を備えることを
特徴とするものである。また、前記伸縮型符号化手段
は、前記基本層伸縮型符号化手段から動きベクトルが入
力され、現在層と基本層の比率に拡大して出力する動き
ベクトル調整手段と、現在層の以前の映像と前記動きベ
クトル調整手段から出力される調整された動きベクトル
が入力され、現在層の以前の映像から現在のマクロブロ
ックに該当する部分を探して出力する動き補償手段と、
現在層映像のマクロブロックと動き補償された現在層の
以前の映像が入力されてCAE符号化するCAE符号化
手段と、現在層映像と下層映像のマクロブロックが入力
され、スキャンインターリーブ方法により符号化するス
キャンインターリーブ符号化手段と、現在層映像と下層
映像のマクロブロックが入力され、そのマクロブロック
が“Inter not coded”モードであるかを表示する信号
を出力する“Intra not coded”モード決定手段と、現
在層映像のマクロブロックと前記動き補償手段から出力
される動き補償された現在層の以前映像が入力され、現
在層のマクロブロックが“Inter not coded”モードで
あるかに対する信号を出力する“Inter not coded”モ
ード決定手段と、前記のスキャンインターリーブ符号化
手段とCAE符号化手段から出力されるビットストリー
ムの大きさを比較して、小さい方を選択する信号を出力
する比較手段と、前記“Intra not coded”モード決定
手段、“Inter not coded”モード決定手段及び比較手
段から信号が入力され、それら信号の組合によって選択
されたモードに該当するデータを出力するモードテーブ
ル貯蔵手段と、前記“Intra not coded”モード決定信
号、“Inter not coded”モード決定信号及び比較手段
の比較結果信号が入力され、前記のスキャンインターリ
ーブ符号化手段とCAE符号化手段から出力される信号
の中のいずれか1つを選択して出力する選択手段を備え
ることを特徴とするものである。
【0041】また、前記の“Intra not coded”モード
決定手段は、現在マクロブロックに対応する下層のマク
ロブロックをアップサンプリングして、現在マクロブロ
ックとの差分絶対値を抽出し、その差が臨界値より小さ
いのかを判断する物体/背景非符号判断手段と、現在マ
クロブロックに対応する下層のマクロブロックが入力さ
れて、物体モードであるかを判断する下層物体モード判
断手段と、現在マクロブロックに対応する下層のマクロ
ブロックが入力されて背景モードであるかを判断する背
景モード判断手段と、現在マクロブロックが入力されて
背景モードであるかを判断する現在層物体モード判断手
段と、現在マクロブロックが入力されて物体モードであ
るかを判断する現在層背景エラー判断手段と、前記の物
体/背景非符号判断手段、下層物体モード判断手段、下
層背景モード判断手段、現在層物体モード判断手段及び
現在層背景エラー判断手段から出力される信号を論理演
算し、“all_0”と“all_255”、“Intra predicte
d”の中のいずれが発生したかを表示する信号を出力す
る論理演算手段とを備えることを特徴とするものであ
る。
【0042】また、前記“Inter not coded”モード決
定手段は、現在マクロブロックと動き補償された以前映
像の対応マクロブロックが入力されて差分絶対値を取る
差分絶対値抽出手段と、前記差分絶対値が臨界値より小
さいのかを判断するエラー比較手段と、前記エラー比較
手段の出力と現在入力される映像のモードを表示する情
報をアンド演算するアンドゲートとから構成されること
を特徴とするものである。
【0043】また、物体/背景非符号判断手段は、現在
マクロブロックに対応する下層のマクロブロックをアッ
プサンプリングするアップサンプリング手段と、前記ア
ップサンプリングされた下層マクロブロックと現在マク
ロブロックとの差分絶対値を抽出する差分絶対値抽出手
段と、前記抽出された差分絶対値が臨界値より小さいの
かを判断するエラー比較手段とから構成されることを特
徴とするものである。また、下層物体モード判断手段
は、現在マクロブロックに対応する下層のマクロブロッ
クが入力され、全ての物体値を有するのかを判断する物
体判断手段と、下層の以前映像のMBのモードと上記物
体判断手段の出力をオア演算するオアゲートとを具備す
ることを特徴とするものである。
【0044】また、下層背景モード判断手段は、現在マ
クロブロックに対応する下層の領域がすべて背景値を有
するのかを判断する背景判断手段と、下層の以前映像の
MBのモードと上記背景体判断手段の出力をオア演算す
るオアゲートとを具備することを特徴とするものであ
る。
【0045】また、現在層物体モード判断手段は、入力
される現在のマクロブロックと、全て“0”値を有する
マクロブロックとの差分を求め、その絶対値を取る物体
差分絶対値抽出手段と、前記抽出された差分絶対値が臨
界値より小さい値であるかを判断するエラー比較手段か
ら構成されることを特徴とするものである。
【0046】また、本発明に係る下層と現在層のモード
を利用した伸縮型二進映像復号化装置は、二進映像を解
像度が異なる複数個の階層に復号化する伸縮型復号化装
置において、各層のビットストリーム、基本層の動きベ
クトル、以前映像及び下層復号化映像とをそれぞれ受信
して伸縮型復号化する多数の伸縮型復号化手段と、前記
多数の伸縮型復号化手段の中で、最上位の伸縮型復号化
手段から入力される現在層の映像ブロックを貯蔵する映
像貯蔵手段とを備えることを特徴とするものである。
【0047】また、前記伸縮型復号化手段は、前記多数
の伸縮型復号化手段の中の基本層伸縮型復号化手段から
動きベクトルが入力され、現在層と基本層の比率に拡大
して出力する動きベクトル調整手段と、現在層の以前映
像と前記動きベクトル調整手段から出力される調整され
た動きベクトルが入力され、現在層の以前映像から現在
マクロブロックに該当するマクロブロックを動き補償し
て出力する動き補償手段と、現在層ビットストリームと
映像のモードを表示する信号が入力されて、モード情報
を復号化するモード復号手段と、下層映像のブロックと
そのモードが入力されて、前もって決定された規則に従
って処理して現在映像ブロックを出力する“Intra not
coded”ブロック構成手段と、現在層映像のビットスト
リームと動き補償された現在層の以前映像が入力されて
CAE符号化して出力するCAE符号化手段と、現在層
映像のビットストリームと下層映像のブロックが入力さ
れてスキャンインターリーブ方法により復号化するスキ
ャンインターリーブ復号化手段と、前記のモード復号手
段で復号されたモードに従って前記各手段から出力され
る信号を選択して出力する多重化手段を備えることを特
徴とするものである。
【0048】また、前記“Intra not coded”ブロック
構成手段は、現在マクロブロックに対応する下層のマク
ロブロックの画素の全てが255であれば1を出力し、
そうでなければ0を出力する物体モード判断手段と、下
階層のMBモードがall_255であるか、または前記物
体モード判断手段の出力が1であれば1を出力する第1
オアゲートと、下階層のMB内の画素中、現在階層のM
Bに該当する領域内の画素の全てが0であれば1を出力
し、そうでなければ0を出力する背景モード判断手段
と、下階層のMBモードがall_0であるか、背景モード
判断手段の出力が1であればその出力が1となる第2オ
アゲートと、全ての画素が0であるMBを発生させる
“all_0”ブロック発生手段と、全ての画素が255で
あるMBを発生させる“all_255”ブロック発生手段
と、下階層の領域をアップサンプリング(up samplin
g)して、現在MBを構成するアップサンプリング手段
と、前記第1オアゲートの出力信号に従って“all_25
5”ブロック発生手段または前記アップサンプリング手
段の出力を選択する第1マルチプレクサと、前記第2オ
アゲートの出力信号に従って“all_0”ブロック発生手
段または前記第1マルチプレクサの出力を選択する第2
マルチプレクサから構成されることを特徴とするもので
ある。
【0049】また、さらに他の発明に係る下層と現在層
のモードを利用した伸縮型二進映像符号化方法は、二進
映像を解像度が異なる複数個の階層に符号化する伸縮型
符号化方法において、下層符号化モードを知っている場
合、高位層の符号化モードに対する発生ビット数を割り
当てる時に、ホフマン(Hufman)符号化方式を用いて発
生確率が多ければ小さいビット数を割り当て、発生確率
が少なければ長いビットを割り当てて符号化することを
特徴とするものである。
【0050】また、MBの符号化モードは、“Intra co
ded”が最も多く発生するので、全体の符号化モードに
関係なく大部分“Intra coded”は1ビットまたは2ビ
ットで比較的に少ないビット数を割り当てることを特徴
とするものである。
【0051】また、下層モードを知っている場合、高位
層モードに対するコードの割り当てられたビットは、次
の2種類 (1)1bit:0、2bit:10、3bit:110、他の3bi
t:111 (2)1bit:1、2bit:01、3bit:001、他の3bi
t:000 を使用することを特徴とするものである。
【0052】また、MPEG−4でビットストリームの
スタートとエンドを表示する所定個数連続した“0”
が、伝送エラーにより一部の‘1’が‘0’に変わって
連続する‘0’が容易に発生されないように、‘1’が
多く発生するようにコードを設定することを特徴とする
ものである。
【0053】また、すぐ下の階層(lower層)が(2)
“Intra coded”モードである場合、現在階層が(1)
“Intra not coded”である場合より(3)“Inter not
coded”の場合に、より少ないビットを割り当てること
を特徴とするものである。
【0054】また、下階層及び高位層の符号化モードを (1)動き補償せず符号化するモード (2)動き報償せず符号化しないモード (3)動き補償の後符号化するモード (4)動き補償の後符号化しないモード に区分し、前記の下階層が(1)のとき、高位層が
(1)の場合に“0”、(2)の場合に“10”、
(3)の場合に“110”、(4)の場合に“111”
と付加情報を設定し、前記の下階層が(2)のとき、高
位層が(1)の場合に“110”、(2)の場に合
“0”(3)の場合に“10”、(4)の場合に“11
1”と付加情報を設定し、前記の下階層が(3)のと
き、高位層が(1)の場合に“110”、(2)の場に
合“10”(3)の場合に“0”、(4)の場合に“1
11”と付加情報を設定し、前記の下階層が(1)のと
き、高位層が(1)の場合に“111”、(2)の場合
に“0”(3)の場合に“111”、(4)の場合に
“10”と付加情報を設定することを特徴とするもので
ある。
【0055】また、前記付加情報を“0”は“1”に、
“1”は“0”に替えて設定することを特徴とするもの
である。
【0056】また、前記下階層が(2)の場合、高位層
が(1)の場合より(3)の場合に、さらに長いビット
からなる付加情報を設定することを特徴とするものであ
る。さらに、前記の全ての場合に“1”が含まれるよう
に付加情報を設定することを特徴とするものである。
【0057】
【発明の実施の形態】本発明においては、“all_0”、
“all_255”、“Intra not coded”の3種類のモー
ドの代わりに1つのモード“Intra not coded”のみを
使用する。送信端で“all_0”、“all_255”または
“Intra predicted”に決定されたMBは全て“Intra n
ot coded”モードに伝送される。受信端では下階層の画
素等を参照し、“Intra not coded”モードから再び“a
ll_0”、“all_255”、“Intra predicted”とを区
別する。
【0058】“Inter coded && MVD=0”と“Inter co
ded && MVD!=0”は、“Inter coded”で表現し、“In
ter not coded && MVD=0”と“Inter not coded && M
VD!=0”は、“Inter not coded”で表現する。その結
果、I−ピクチャは符号化モードを2種類のモードに減
らすことができ、P−ピクチャ(またはB−ピクチャ)
は符号化モードを4種類に減らすことができる。このよ
うなモードを使用して符号化テーブルを作る。符号化テ
ーブルは下層と高位層の相関性を考慮して下層モードに
対し発生する高位層のモードを符号化する。各下層モー
ドに対し発生確率が高い高位層のモードであるほど少な
いビット量を割り当てて符号化する。以下、本発明の技
術的思想に従う一実施の形態をあげて、その構成及び動
作を添付図面に基づいて詳細に説明する。
【0059】I−ピクチャ(例えば、VOP、フレー
ム、16×16マクロブロック等)の高位層に対する符
号化モードは、従来方式のモード中“all_0”、“all_
255”、“Intra predicted”(下層からアップサン
プリングして構成されたMBと現在のMBとの間の差が
基準値以下である場合に該当し、既存方式における“In
tra not coded”を意味する。以後、本発明において新
たに定義された“Intra not coded”と従来の“Intra n
ot coded”を区別するために、従来の“Intra notcode
d”は、“Intra predicted”と表示する)の3種類のモ
ードを1つのモード“Intra not coded”のみを使用し
て表示することにより、I−ピクチャの高位層に対する
符号化モードを、下記のように2種類のモードにする。
【0060】(1)“Intra not coded” (2)“Intra coded” 1.符号化モードが“Intra coded”の場合 1)ESDの存在有無に対する情報を送る。 2)ESDが存在するとMB全体をCAE遂行し、ES
Dが存在しなければTSDのみCAEを遂行する。
【0061】2.符号化モードが“Intra not coded”
の場合は、下記に説明する3つの場合を含む。 1)下層のMBが“all_0”の場合であり、高位層のM
Bも“all_0”の場合または高位層のMBを“all_0”
とする場合、1MB内で高位層MBと差異があるピクセ
ル(pixel)個数の和が基準値以下の場合。 2)下層のMBが“all_255”の場合であり、高位層
のMBも“all_255”の場合、または高位層のMBを
“all_255とする場合、1MB内で高位層MBと差異
があるピクセル個数の和が基準値以下の場合。
【0062】3)下層のMBが“all_0”でもなく“al
l_255”でもない場合、下層のMBからアップサンプ
リング(up sampling)したとき、1MB内で高位層の
MBと差がでるピクセル個数の和が基準値以下の場合
(即ち、下階層からアップサンプリングして構成された
MBと現在のMBとを比較して決定するが、MBを4×
4ブロックに分割しアップサンプリングして構成された
MBと現在のMBと間のエラーが臨界値より小さい場合
または同一な場合)。
【0063】従って、復号化時には、“Intra not code
d”を表示する付加情報を受信し、下層を参照し、下層
が“all_0”の場合、高位層のMBの全てを“0”に詰
める。下層が“all_255”の場合、高位層のMBの全
てを“255”に詰める。また下層が“all_0”や“al
l_255”でない場合、下層のMBからアップサンプリ
ングして高位層のMBをつくる。
【0064】図1は本発明によるI−ピクチャの高位層
を符号化する方法を示すフローチャートである。段階S
T501で現在のマクロブロックが“Intra not code
d”であるかを判断する。本発明では“Intra not code
d”が“all_0”、“all_255”、“Intra predicte
d”(従来の“Intra not coded”である)の3種類のモ
ードを含むので、図2に説明される過程により“Intra
not coded”モードであるかを判断する。
【0065】現在マクロブロックが“Intra not code
d”モードでない場合、段階ST502で“Intra code
d”モードを表示する付加情報を復号器側に伝送し、現
在マクロブロックをスキャンインターリーブ(Scan Int
erleaving)方法により符号化して復号器側に伝送す
る。即ち、ESDの存在有無に対する情報を送り、ES
Dが存在するとMBの全体をCAE遂行し、ESDが存
在しなければTSDのみCAEを遂行する。
【0066】現在マクロブロックが“Intra not code
d”モードの場合、段階ST503で“Intra not code
d”モードを表示する付加情報を復号化側に伝送する。
本発明では“Intra not coded”が“all_0”、“all_
255”、“Intra predicted”(従来の“Intra not c
oded”である)を意味するので、図2において説明する
ように前記3種類の場合に該当するかを判断する。
【0067】図2は本発明による高位層映像が“Intra
not coded”モードであるかを判断する方法を示すフロ
ーチャートである。段階ST601で、現在マクロブロ
ックに該当する下層MBが“all_0モードであるかを判
断する。前記下層MBが“all_0”の場合、段階ST6
02で、現在のマクロブロックが“all_0”モードであ
るかを判断する。現在マクロブロックと対応する下層領
域が同時に“all_0”モードの場合、“Intra not code
d”モードを表示する付加情報を復号器側に伝送する。
【0068】現在マクロブロックまたは対応する下層M
Bが“all_0”モードでない場合、段階ST603で、
現在マクロブロックに対応する下層MBが“all_25
5”モードであるかを判断する。前記の下層MBが“al
l_255”モードの場合、段階ST504で、現在のマ
クロブロックが“all_255”モードであるかを判断す
る。現在マクロブロックと対応する下層MBが同時に
“all_255”モードの場合、“Intra not coded”モ
ードを表示する付加情報を復号器側に伝送する。現在マ
クロブロックまたは対応する下層MBが“all_255”
モードでない場合、段階ST605で、現在マクロブロ
ックが“Intra predicted”モードであるかを判断す
る。現在マクロブロックが “Intra predicted”モード
の場合、“Intra not coded”モードを表示する付加情
報を復号器側に伝送する段階に進行する。現在マクロブ
ロックが“Intra predicted”モードでない場合、“Int
ra coded”または“Inter coded”モードを符号化する
段階に進行する。
【0069】復号化受信端では、図3及び図4に図示の
ように、“Intra not coded”モードから復号化し、“a
ll_0”、“all_255”と“Intra predicted”とを分
離し、それぞれに該当する動作を行う。ビットストリー
ムから復号したモード情報が“Intra not coded”であ
る場合、図3に図示されたように復号化する。
【0070】段階ST701で、下層のMBが“all_
0”であるか、または現在マクロブロックのMBに該当
する下層領域内の全ての画素(sample)が0の場合、現
在層のMBは“all_0”に該当し、段階ST702で現
在層MB内の全ての画素は0に置換される。
【0071】段階ST703で、下層のMBが“all_2
55であるか、または現在層MBに該当する下層領域内
の全ての画素が255の場合、現在層MBは“all_25
5”に該当し、段階ST704で、現在層MB内の全て
の画素は255に置換される。
【0072】下層のMBが“all_0”でもなく“all_2
55”でもない場合は、現在層MBに該当する下層の領
域内に‘0’と‘255’を有する画素が共に存在する
場合である。既存の方法での“Intra not coded”に該
当する。この場合、段階ST705で、下層から予測さ
れて構成されたMBを現在層のMBとして使用する。
【0073】従来の方式でP−ピクチャとB−ピクチャ
の高位層モードは、前述したように8種類から構成され
るが、本発明による符号化方法では、3種類のモード
“all_0”、“all_255”、“Intra predicted”
(従来の“Intra not coded”)は、“Intra not code
d”モードに符号化され復号化装置に伝送される。これ
はI−ピクチャの高位層モードと同じ方法である。
【0074】また、本発明では、動きベクトルを伝送し
ないことにより、動きベクトルを探すための複雑度を減
らす。従って、従来の“Inter coded && MVD=0”と
“Inter coded && MVD!=0”は“Inter coded”とし
て表現し、“Inter not coded && MVD=0”と“Inter
not coded && MVD!=0”は“Inter not coded”とし
て表現する。その結果、P−ピクチャ(またはB−ピク
チャ)の高位層に対する符号化モードを、下記のように
4種類のモードにする。
【0075】(1)“Intra not coded”(“all_
0”、“all_255”、“Intra not coded”) (2)“Intra coded” (3)“Inter not coded”(“Inter not coded && MV
D=0”、“Inter notcoded && MVD!=0”) (4)“Inter coded”(“Inter coded && MVD=
0”、“Inter coded && MVD!=0”) 符号化モードが“Intra not coded”と“Intra coded”
の場合、I−VOPの高位層の“Intra not coded”と
“Intra coded”の意味と同一である。
【0076】“Inter coded”と“Inter not coded”の
場合、以前のVOPから動き補償してマクロブロックを
持ってくるために動きベクトルが必要である。動きベク
トルは基本層(base layer)の動きベクトルをVOP大
きさの比率に調整して使用する。現在層の映像がダウン
サンプリングされ下層の映像を構成するためである。図
18に示されたように、現在層が下層の水平方向に2倍
である場合、現在層のMBが下層MBの比率に従って下
層の動きベクトルを水平成分を2倍して現在層の動きベ
クトルとする。
【0077】下層が“MVDs==0 && No Update”また
は“MVDs!=0 && No Update”の場合は動きベクトル
が0である。“Inter not coded”は下層の動きベクト
ルを利用して、以前映像から持ってきたMBと比較し
て、差がでる画素のMB内の和が基準値以下の場合を意
味する。従って、符号化モードが“Inter not coded”
の場合は、下層の動きベクトルを用いて以前映像から持
ってきて、追加の符号化または復号化をしない。
【0078】下層が“MVDs==0 && No Update”また
は“MVDs!=0 && No Update”の場合は動きベクトル
が0である。“Inter coded”は下層の動きベクトルを
利用して、以前のVOPから持ってきたMBと比較し
て、差がある画素のMB内の和が基準値以上の場合を意
味する。従って、符号化モードが“Inter coded”の場
合は、下層の動きベクトルを用いて以前映像から持って
きたMBを使用してCAEを遂行することによって高位
層MBを得る。
【0079】本発明では、P−ピクチャとB−ピクチャ
の高位層(enhancement layer)のモードは、既存方式
の8種類モードから4種類モードに減らすことができ
る。
【0080】図5は、本発明のよる高位層P−ピクチャ
とB−ピクチャを符号化するフローチャートである。段
階ST901で、現在マクロブロックが“Intra not co
ded”であるかが、前記の図2で説明した方法により判
断される。“Intranot coded”の場合は符号化せず、段
階ST902で“Intra not coded”モードを表示する
付加情報のみ伝送される。“Intra not coded”でなけ
れば,段階ST903で前述した方式のとおりに“Inte
r coded”及び“Inter not coded”の動きベクトルは基
本層(base layer)の動きベクトルを現在層の映像と下
層の映像の大きさの比率に調整して動きベクトルを再生
する。段階ST904で、現在マクロブロックが“Inte
r not coded”であるかを判断する。“Inter not code
d”の場合、段階ST905で、現在マクロブロックを
符号化せずに、“Inter not coded”モードを表示する
付加情報のみ伝送される。
【0081】現在マクロブロックが“Inter not code
d”でない場合、段階ST906で、現在マクロブロッ
クが“Intra coded”であるかを判断する。現在マクロ
ブロックが“Intra coded”である場合、段階ST90
8で、“Intra coded”モードを表示する付加情報と現
在マクロブロックをスキャンインターリーブ方法により
符号化したデータを復号化装置に伝送する。“Intra co
ded”でない場合、段階ST907で“Inter coded”モ
ードを表示する付加情報を伝送し、現在マクロブロック
をCAE(CAE:Contexed-based Arithmetic EnCode)
符号化して復号化装置に伝送する。
【0082】“Inter coded”と“Inter not coded”の
場合、以前の映像から動き補償してMBを持ってくるた
めに動きベクトルが必要である。動きベクトルは最下位
階層(base layer)の動きベクトルを映像の大きさの比
率で調整した後に使用する。最下位階層から動きベクト
ルを得る方法は下記のとおりである。
【0083】1.最下位階層の該当MBのモードが“al
l_0”、“all_255”または“IntraCAE”の場
合、現在階層のMBの動きベクトルは0である。 2.最下位階層の該当MBのモードが“MVDs==0 &&
No Update”、“MVDs!=0 && No Update”、“Inte
rCAE && MVDs==0”または“InterCAE && MVD
s!=0”の場合、最下位階層で再生された動きベクト
ルを使用する。
【0084】このとき、最下位階層の映像と現在階層映
像の大きさの比率によって、最下位階層の動きベクトル
を調整する。x軸の動きベクトルは、映像のx軸大きさ
の比率によって調整され、y軸の動きベクトルは映像の
y軸大きさの比率によって調整される。例えば図6にお
いて、現在階層の映像101が最下位階層の映像102
よりx軸にn倍大きいとすれば、現在階層の動きベクト
ルVは、基本層の動きベクトルvをn倍掛ける。即ちV
=n*vとなる。また、y軸にm倍大きいとすれば、現
在MBの動きベクトルは、最下位階層の動きベクトルで
y軸動きベクトルにm倍掛けて得る。
【0085】図7は、本発明による高位層P−ピクチャ
またはB−ピクチャを復号化するフローチャートであ
る。まず、段階ST110でビットストリーム(Bit st
ream)からモードが復号される。段階ST111で“In
tra not coded”の場合、段階ST112で、下層の該
当マクロブロックのモードによって復号化せず画素を選
択する。
【0086】“Intra not coded”でない場合、段階S
T113で、前記において説明した方式のとおり、“In
ter not coded”、“Inter coded”及び“Inter not co
ded”の動きベクトルは、下層の動きベクトルをそのま
ま使用して動きベクトルを再生する。段階ST114
で、現在マクロブロックが“Inter not coded”モード
であるかを判断する。モードが“Inter not coded”の
場合は、段階ST115で復号化せず以前の映像で動き
補償して現在MBの画素を詰める。“Inter not code
d”でない場合、段階ST116で、現在マクロブロッ
クが“Intra coded”であるかを判断する。“Intra cod
ed”の場合、段階ST118で、現在マクロブロックを
スキャンインターリーブ方法により復号化する。“Intr
a coded”でない場合、段階ST117で現在マクロブ
ロックをCAE復号化する。
【0087】図8に本発明による伸縮型符号化装置の構
成を示すブロック図が図示される。多数のサブサンプリ
ング手段(1210、1211、...、121N−
2、121N−1)は、その前端のサブサンプリング手
段等(1210、1211、...、121N−2)か
ら映像が入力されサブサンプリングする。多数のスキャ
ン順序変換手段(1220、1221、...、122
N−1、122N)は、前記サブサンプリング手段(1
210、1211、...、121N−2、121N−
1)でサブサンプリングされた各層の映像が入力され、
所定大きさのマクロブロック単位に分割して出力する。
【0088】多数の伸縮型符号化手段(1230、12
31、...、123N−1、123N)は、前記のス
キャン順序変換手段(1220、1221、...、1
22N−1、122N)から各層の映像マクロブロック
及び下層の映像ブロックと各層の以前の映像が入力さ
れ、“all_0”、“all_255”、“Intra not code
d”の3種類のモードを1つのモードに符号化し、“Int
er not coded && MVD=0”と“Inter not coded && MV
D!=0”とを“Inter not coded”モードに、そして
“Inter coded &&MVD=0”と“Inter coded && MVD!
=0”を“Inter coded”に置いて伸縮型符号化する。
【0089】入力された映像(Picture)は、N−1層
サブサンプリング手段(121N−1)とN層スキャン
順序変換手段(122N)に入力される。N層スキャン
順序変換手段(122N)は、N層の映像を所定大きさ
のマクロブロック(例え、16×16マクロブロック
等)に分割して出力する。このマクロブロックは、N層
の伸縮型符号化手段(123N)で伸縮型符号化され、
ビットストリームで復号器側に伝送される。N層の伸縮
型符号化手段(123N)は、N層の以前の映像、前記
N層映像のマクロブロックとN−1層映像のマクロブロ
ック及び基本層符号化手段(1230)の動きベクトル
が入力されて伸縮型符号化する。
【0090】N−1層サブサンプリング手段(121N
−1層)は、入力された映像をサブサンプリングしてN
−1層映像に変換して出力する。例えば、映像を2×2
マクロブロックに分割し、2×2マクロブロック当たり
1つの画素を抽出して、サブサンプリングされた映像を
つくる。このようにサブサンプリングされたN−1層映
像は、N−1層スキャン順序変換手段(122N−1)
で所定大きさのマクロブロックに分割され、N−1層伸
縮型符号化手段(123N−1)に入力される。N−1
層伸縮型符号化手段(123N−1)は、前記N−1層
以前映像、N−1層映像のマクロブロックとN−1層映
像のマクロブロック及び基本層符号化手段(1230)
の動きベクトルが入力されて伸縮型符号化する。
【0091】このようにN層はN−1層に、N−1層は
N−2層に、...数回サブサンプリングされ、このよ
うにサブサンプリングされた各層の映像マクロブロック
及びその下層の映像マクロブロックと各層の以前映像等
が、多数の伸縮型符号化手段(1230、123
1、...、123N−1、123N)に入力され、
“all_0”、“all_255”、“Intra not coded”の
3種類のモードは“Intra not coded”のモードに符号
化され、“Inter not coded && MVD=0”と“Inter no
tcoded && MVD!=0”は“Inter not coded”モード
に、そして“Inter coded && MVD=0”と“Inter code
d && MVD!=0”を“Inter coded”モードに伸縮型符
号化される。従って、N+1個階層の解像度を有する多
数の映像層に伸縮型符号化される。
【0092】図9に本発明による伸縮型符号化手段の一
実施の形態を示すブロック図が図示されている。各層の
伸縮型符号化手段(1230、1231、...123
N−1、123N)は同一な構造を有し、説明の便宜
上、N層の伸縮型符号化手段(123N)に関して説明
する。
【0093】動きベクトル調整手段131には、前記の
基本層伸縮型符号化手段1230から動きベクトルが入
力され、現在層と基本層の比率に拡大して出力する。動
き補償手段132は、現在層(N層)の以前の映像と前
記動きベクトル調整手段131から出力される調整され
た動きベクトルとが入力され、現在層の以前の映像から
現在のマクロブロックに該当する部分を探して出力す
る。CAE符号化手段133は、現在層映像のマクロブ
ロックと動き補償された現在層の以前の映像が入力され
てCAE符号化する。
【0094】スキャンインターリーブ符号化手段134
には、現在層映像と下層(N−1層)映像のマクロブロ
ックが入力され、スキャンインターリーブ方法により符
号化する。“Intra not coded”モード決定手段135
には、現在層映像と下層映像のマクロブロックが入力さ
れ、そのマクロブロックが“Intra not coded”モード
であるかを表示する信号を出力する。
【0095】“Inter not coded”モード決定手段13
6には、現在層映像のマクロブロックと前記の動き補償
手段132から出力される動き補償された現在層の以前
の二進映像が入力され、現在層マクロブロックが“Inte
r not coded”モードであるかに対する信号を出力す
る。比較手段137は、前記のスキャンインターリーブ
符号化手段134とCAE符号化手段133から出力さ
れるビットストリームの大きさを比較して小さいものを
選択する信号を出力する。
【0096】モードテーブル貯蔵手段138は、前記の
“Intra not coded”モード決定手段135、“Inter n
ot coded”モード決定手段136及び比較手段137か
ら信号が入力され、その信号の組合によって選択された
モードに該当するデータを出力する。選択手段139に
は、前記の“Intra not coded”モード決定信号、“Int
er not coded”モード決定信号及び比較手段137の比
較結果信号が入力され、前記のスキャンインターリーブ
符号化手段134とCAE符号化手段133から出力さ
れる信号中のいずれか1つを選択して出力する。
【0097】“Intra not coded”モード決定手段13
5には、現在層(例えば、N層)映像のマクロブロック
と下層(例えば、N−1層)映像のマクロブロックが入
力され、前記現在層映像のマクロブロックが“Intra no
t coded”モードであるかを決定し、その結果信号を出
力する(図2参照)。
【0098】図10に、本発明による“Intra not code
d”モード決定手段の構成を示すブロック図が図示され
る。物体/背景非符号判断手段141は、現在マクロブ
ロックに対応する下層のマクロブロックをアップサンプ
リングし、現在マクロブロックとの差分絶対値を抽出
し、その差が臨界値より小さい値であるかを判断する。
下層物体モード判断手段142は、現在マクロブロック
に対応する下層のマクロブロックが入力されて物体モー
ドであるかを判断する。
【0099】下層の背景モード判断手段143は、現在
マクロブロックに対応する下層のマクロブロックが入力
されて背景モードであるかを判断する。現在層の物体モ
ード判断手段144は、現在マクロブロックが入力され
て背景モードであるかを判断する。現在層背景エラー判
断手段145は、現在マクロブロックが入力されて物体
モードであるかを判断する。論理演算手段146は、前
記の物体/背景非符号判断手段141、下層物体モード
判断手段142、下層背景モード判断手段143、現在
層の物体モード判断手段144及び現在層背景エラー判
断手段145から出力される信号等を論理演算し、“al
l_0”と“all_255”、“Intra predicted”中のい
ずれ1つが発生したかを表示する信号を出力する。
【0100】物体/背景非符号判断手段141は、現在
マクロブロックに対応する下層のマクロブロックをアッ
プサンプリングするアップサンプリング手段141a
と、前記のアップサンプリングされた下層マクロブロッ
クと現在マクロブロックとの差分絶対値を抽出する差分
絶対値抽出手段141bと、前記の抽出された差分絶対
値が臨界値より小さい値であるかを判断するエラー比較
手段141cとから構成される。
【0101】アップサンプリング手段141aは、現在
マクロブロックに対応する下層のマクロブロックを水
平、垂直に反復させる補間(Interpolation)法等によ
り、現在マクロブロックと同一な大きさのマクロブロッ
クに変換させる。このアップサンプリングされた下層マ
クロブロックは、差分絶対値抽出手段141bで、現在
マクロブロックとそれぞれ対応する画素同士の差分が計
算され、その差分は絶対値が取られる。
【0102】この場合、現在マクロブロックとアップサ
ンプリングされた下層マクロブロックの各画素は、
“0”または“255”であるので、差分に対する絶対
値も“0”または“255”の値を有する。すなわち、
互いに異なる値を引く場合のみ“255”値が出るので
“255”を有する位置の画素は、現在マクロブロック
とアップサンプリングされた下層マクロブロックが相互
に異なるということを意味する。
【0103】このように、差分の絶対値からなるマクロ
ブロックがエラー比較手段141cに入力され、エラー
が基準値以下であるかが検査される。即ち、差分の絶対
値からなるマクロブロックが4×4大きさのマクロブロ
ックに分割され、全てのマクロブロックのエラーが臨界
値より小さい場合や同一な場合、エラーが基準値以下に
判断する。エラーが基準値以下であれば“Intra predic
ted”となり、前記エラー比較手段141cは“1”を
出力する。
【0104】下層の物体モード判断手段142は、現在
マクロブロックに対応する下層の領域が全て物体値(例
えば“255”)を有するかを判断して、全てが物体値
の場合“1”を出力し、全てが物体値でない場合、
“0”を出力する物体判断手段142aと、下層の以前
映像のMBモードと、前記物体判断手段142aの出力
をオア演算するオアゲート142bから構成される。
【0105】現在マクロブロックに対応する下層のマク
ロブロックが、下層物体モード判断手段142に入力さ
れ、現在マクロブロックに対応する下層の領域を構成す
る全ての画素が物体値“255”値を有すると、“1”
を出力して“all_255”モードであることを表示す
る。そうでなければ、“0”信号を出力する。下層の以
前映像のMBのモードと物体判断手段142a中いずれ
か1つでも“1”を出力すれば、すなわち現在マクロブ
ロックに対応する下層マクロブロックの全ての画素が
“255”であったり、“255”でない画素があって
もその数が臨界値よりも小さい“all_255”モードを
表示して、オアゲート142bの出力は“1”になる。
【0106】下層背景モード判断手段143は、現在マ
クロブロックに対応する下層の領域がすべて背景値(例
えば“0”)を有するのかを判断し、すべて背景値であ
る場合、“1”を出力し、すべて背景値でない場合、
“0”を出力する背景判断手段143aと、下層の以前
映像のMBモードと上記背景判断手段143aの出力を
オア演算するオアゲート143bで構成される。
【0107】現在マクロブロックに対応する下層のマク
ロブロックが下層背景モード判断手段143に入力さ
れ、現在マクロブロックに対応する下層の領域を構成す
るすべての画素が物体値“0”を有すれば、“1”を出
力して“all_0”モードであることを表示する。そうで
ない場合は“0”を出力する。下層の以前映像のMBの
モードと背景判断手段143a中いずれか1つでも
“1”を出力すれば、すなわち、現在マクロブロックに
対応する下層マクロブロックの全ての画素が“0”であ
ったり、“0”でない画素があってもその数が臨界値よ
りも小さい“all_0”モードを表示して、オアゲート1
43bの出力は “1”となる。
【0108】現在層の物体モード判断手段144は、入
力される現在マクロブロックと全て“0”値を有するマ
クロブロックとの差分を求め、その絶対値を取る物体差
分絶対値抽出手段144aと、前記抽出された差分絶対
値が臨界値より小さいかを判断するエラー比較手段14
4bから構成される。
【0109】現在層のマクロブロックMBは、現在層の
物体モード判断手段144に入力され、全て“0”値を
有するマクロブロックと差分の絶対値が取られる。前記
の差分絶対値は、エラー比較手段144bで臨界値より
小さいかが判断される。臨界値より小さければ“all_2
55”モードとなり、エラー比較手段144bは“1”
を出力する。
【0110】現在層背景エラー比較手段145には、現
在マクロブロックが入力されて前記の現在マクロブロッ
クを4×4ブロックに分割し、そのマクロブロック等の
エラーが臨界値(16×Alpha)より小さい場合や同一
な場合にエラーが基準値以下であると判断する。エラー
が基準値以下であると判断されると、“1”を出力し、
現在マクロブロックが“all_0”モードであることを表
示する。
【0111】前記の下層物体モード判断手段142と、
前記の現在層物体判断手段144から同時に“1”が出
力されなければアンドゲート(U1)が“1”を出力し
ない。即ち、現在層のマクロブロックとそれに対応する
下層マクロブロックの両方が物体値を有する場合、アン
ドゲート(U1)は“1”を出力する。それと同様に、
前記の下層背景モード判断手段143と前記の現在層背
景モード判断手段145から同時に“1”が出力されな
ければ、アンドゲート(U2)が“1”を出力しない。
即ち、現在層マクロブロックとそれに対応する下層マク
ロブロックの両方が背景値を有する場合、アンドゲート
(U2)は“1”を出力する。従って、“all_0”と
“all_255”、“Intra predicted”の中のいずれか
1つでも該当すると、アンドゲート(U4)は“1”を
出力する。即ち、“all_0”と“all_255”、“Intr
a predicted”の中のいずれか1つが発生したことを意
味する。
【0112】図11に本発明による“Inter not code
d”モード決定手段の構成を示すブロック図が図示され
ている。現在マクロブロックと動き補償された以前の映
像の対応マクロブロックが入力されて、差分絶対値を取
る差分絶対値抽出手段151と、前記の差分絶対値が臨
界値より小さいかを判断するエラー比較手段152と、
前記のエラー比較手段152の出力と、現在入力される
映像がイントラモード(I)であるか、予測モード
(P)または両方向予測モード(B)であるかに間する
情報(I/P、B)をアンド演算するアンドゲート15
3とから構成される。
【0113】現在マクロブロックと動き補償された以前
の映像の対応マクロブロックが入力されて差分絶対値を
取ると、互いに異なる値を有する位置の画素のみ“25
5”値を有する。前記のエラー比較手段152は、前記
の差分絶対値が臨界値より小さいかを判断する。現在映
像がイントラモードである場合はI/P、B信号は
“0”であるので、アンドゲート153は、現在映像が
予測モード(P)または両方向予測モード(B)である
場合のみエラー比較手段152の比較結果を出力する。
【0114】図12は、本発明による伸縮型復号化装置
の構成を示すブロック図である。図8に図示された伸縮
型符号化装置と対応するようにN+1個の階層を表示す
る。多数の伸縮型復号化手段(1610、161
1、...、161N−1、161N)は各層のビット
ストリーム、基本層の動きベクトル、以前の映像及び下
層復号化映像とをそれぞれ受信して伸縮型復号化する。
映像貯蔵手段162は、前記のN層伸縮型符号化手段
(161N)から入力される現在層の映像マクロブロッ
クを貯蔵する。
【0115】図13は、本発明による伸縮型復号化手段
の構成を示すブロック図である。各層の伸縮型復号化手
段(1610、1611、...、161N−1、16
1N)は同一構造を有し、説明の便宜上、N層の伸縮型
復号化手段(161N)に関して説明する。
【0116】動きベクトル調整手段171には、前記の
基本層伸縮型復号化手段(1610)から動きベクトル
が入力され、現在層と基本層の比率に拡大して出力す
る。動き補償手段172には、現在層(N層)の以前の
映像と前記の動きベクトル調整手段171から出力され
る調整された動きベクトルが入力され、現在層の以前映
像から現在マクロブロックに該当するマクロブロック
(B)を動き補償して出力する。モード復号手段173
には、現在層ビットストリームとI/P、B信号が入力
されてモード情報を復号化する。“Intra not coded”
ブロック構成手段174には、下層映像のマクロブロッ
クとそのモードが入力されて、前もって決定された規則
によって処理し、現在映像マクロブロック(A)を出力
する。
【0117】CAE符号化手段176は、現在層映像の
ビットストリームと動き補償された現在層の以前の映像
が入力され、CAE符号化した信号(D)を出力する。
スキャンインターリーブ復号化手段175には、現在層
映像のビットストリームと下層(N−1層)映像のマク
ロブロック等が入力され、スキャンインターリーブ方法
により復号化した信号(C)を出力する。多重化手段1
77は、前記のモード復号手段173で復号されたモー
ドによってA、B、C、Dの中のいずれか1つを出力す
る。
【0118】図14は、本発明による伸縮型復号化手段
の“Intra not coded”マクロブロック構成手段の構成
を示すブロック図である。物体モード判断手段181
は、現在マクロブロックに対応する下層マクロブロック
の画素の全てが255であれば1を出力し、そうでなけ
れば0を出力する。オアゲート(U1)は下階層のMB
モードがall_255であるか、または前記の物体モード
判断手段181の出力が1であればその出力は1とな
る。
【0119】背景モード判断手段182は、下階層のM
B内の画素の中、現在階層のMBに該当する領域内の画
素等の全てが0であれば1を出力し、そうでなければ0
を出力する。オアゲート(U2)は下階層のMBモード
がall_0であるか、背景モード判断手段182の出力が
1であればその出力は1となる。“all_0”ブロック発
生手段183は、全ての画素が0であるMBを発生させ
る。“all_255”ブロック発生手段184は、全ての
画素が“255”であるMBを発生させる。
【0120】アップサンプリング手段185は、下階層
の領域をアップサンプリング(up sampling)して現在
MBを構成する。第1マルチプレクサ(以下、マルチプ
レクサをMUXと称す)186は、オアゲート(U1)
の出力信号に従って、“all_255”ブロック発生手段
184または前記アップサンプリング手段185の出力
を選択する。第2マルチプレクサ187は、オアゲート
(U2)の出力信号に従って、“all_0”ブロック発生
手段183または、前記第1マルチプレクサ186の出
力を選択する。
【0121】物体モード判断手段181は、下階層のM
B内の画素等の中の、現在階層のMBに該当する領域内
の画素等の全てが“255”であれば1を出力し、そう
でなければ0を出力する。下階層のMBのモードが“al
l_255”であるか物体モード判断手段181の出力が
1であれば、オアゲート(U1)の出力は1となる。こ
こで、all_0、all_255モードを伝送したりまたは符
号化、復号化することには使用しないが、オアゲート
(U1)、(U2)の出力をall_0、all_255モード
としてMB毎に貯蔵して置いてここで使用する。
【0122】背景モード判断手段182は、下階層のM
B内の画素の中で現在階層のMBに該当する領域内の画
素の全てが0であれば1を出力し、そうでなければ0を
出力する。下階層のMBのモードがall_0であるか背景
モード判断手段182の出力が1であれば、オアゲート
(U2)の出力は1となる。“all_0”ブロック発生手
段183は、全ての画素が0であるMBを構成するブロ
ックである。出力されるMBの全ての画素は0である。
“all_255”ブロック発生手段184は、全ての画素
が255のMBを構成するブロックである。出力される
MBの全ての画素は255である。
【0123】アップサンプリング手段185は、下階層
の領域をアップサンプリング(up sampling)して現在
MBを構成する。第1MUX186の出力は、オアゲー
ト(U1)の出力all_255が1であれば“all_25
5”ブロック発生手段184の出力即ち、全ての画素が
255であるMBが選択され、0であればアップサンプ
リング手段185の出力即ち、アップサンプリングされ
たMBが選択される。第2MUX187の出力はオアゲ
ート(U2)の出力all_0が1であれば“all_0”ブロ
ック発生手段183の出力即ち、全ての画素が0である
MBが選択され、0であれば、第1MUX186の出力
が選択される。即ち、全ての画素が255のMBが選択
され、0であればアップサンプリング手段185の出力
即ち、アップサンプリングされたMBが選択される。第
2MUX187の出力はオアゲート(U2)の出力all_
0が1であれば、“all_0”ブロック発生手段183の
出力即ち全ての画素が0であるMBが選択され、0であ
れば第1MUX186の出力が選択される。
【0124】映像を多数の階層に符号化する時、高位層
とそれをダウンサンプリングした下層との間には相関性
が高い。即ち、高位層が“Intra not coded”であれ
ば、その下層も“Intra not coded”である確率が高
い。この相関性を考えてI−ピクチャ、P−ピクチャの
高位層(またはB−ピクチャ)の符号化モードに対する
ビットを割り当てることが符号化ビット量を減らすこと
ができる。次に、I−ピクチャ及びP−ピクチャ(また
はB−ピクチャ)の高位層の符号化モードに対するビッ
ト割当方法を説明する。
【0125】下層の符号化モードを知っている場合、高
位層の符号化モードに対する発生ビット数を、ホフマン
(Hufman)符号化方式を用いて発生確率が多ければ小さ
いビット数を割り当て、発生確率が小さければ長いビッ
トを割り当てる。例えば、下層が“Intra not coded”
の場合、現在層も“Intra not coded”である確率が最
も大きいので、最も小さい長さのビットを割り当て、そ
の次に発生確率が大きい符号化モードに2、3、...
ビットを割り当てる。また、MBの符号化モードは“In
tra coded”が最も多く発生するので、全体符号化モー
ドに関係なく、大部分の“Intra coded”は1ビットま
たは2ビットと比較的に少ないビット数を割り当てる。
【0126】次に本発明による符号化ビットの割当方法
により割り当てた例を示す。 Enhancement layer Mode (1) (2) (3) (4) (1) 1 2 3 3 下層モード (2) 2 1 3 3 (3) 3 2 1 3 (4) 3 1 3 2
【0127】次に、実際に前記の方法のとおり、下層モ
ードを知っている場合、高位層モードに対するコードの
実施の形態を示す。ここで、それぞれ高位層の各割り当
てられたビットに対するコードは次の2種類を使用す
る。 (1)1bit:0、2bit:10、3bit:110、他の3bi
t:111 (2)1bit:1、2bit:01、3bit:001、他の3bi
t:000 I−ピクチャとP−ピクチャそしてB−ピクチャの高位
層で、本発明の付加情報の構成方法と符号テーブルは下
記のとおりである。
【0128】I−ピクチャの高位層の場合は、下記のよ
うにの2種類のモードを使用する。 (1)“Intra not coded” (2)“Intra coded”
【0129】従来の方式では、I−ピクチャの高位層の
場合、3種類のモード“all_0”、“all_255”、
“Intra coded”を使用した。本発明では、既存方式に
おける“all_0”、“all_255”モードと、既存方式
のP−ピクチャまたはB−ピクチャの高位層における
“Intra not coded”を1つのモード“Intra not code
d”として伝送し、受信端では下層の情報を利用して受
信された“Intra not coded”が“all_0”であるかま
たは“all_255”であるかを探し出す方法を使用す
る。従って、本発明では2種類のモードのみを使用する
ことによって、3種類のモードを使用する従来の方法に
比して、モードを伝送することによるbit量を減らす
ことができる。
【0130】各MBに対するモードの符号(Code)を、
下記のようなコードテーブルを使用して符号化する。各
モードは固定長さとして1ビットが伝送される。
【0131】
【表1】
【0132】ISO/IEC WG11で現在標準化が
進行中のMPEG−4ではビットストリームで映像を区
別するために、映像を始まる時23個の連続する‘0’
を表示する。映像内で23個の連続する‘0’が発生す
る場合、映像のスタートに判断するようになる。従って
映像のスタートでない場合、23個の連続する‘0’が
発生しないようにする必要がある。または、伝送エラー
によって一部の‘1’が‘0’に変わって、23個の連
続する‘0’が容易に発生しないように、できるだけ
‘1’が多く発生するようにすることが有利である。従
って、前記のテーブルにおいて“Intra coded”のモー
ドに‘1’が含まれるように下記のように変更する。
【0133】
【表2】
【0134】P−ピクチャの下層を符号化する第1番目
の方法は下記のとおりである。 (1)“all_0”または“all_255”または“Intra p
redicted”(従来の“Intra not coded”) (2)“Intra CAEまたは“Intra coded” (3)“MVDs==0 && No Update”または“MVDs!=0
&& No Update”または“inter not coded” (4)“Inter CAE && MVDs==0”または“Inter CAE
&& MVDs!=0”または“Inter coded”
【0135】P−ピクチャの高位層の符号化モードは、
下記のように区分することができる。 (1)“Intra Not Coded” (2)“Intra Coded” (3)“Inter Not Coded” (4)“Inter Coded”
【0136】既存方式でP−ピクチャとB−ピクチャの
高位層モードは8種類から構成される。ここで、3種類
のモード“all_0”、“all_255”、“Intra not co
ded”は、1つのモード“Intra not coded”モードで復
号化装置に伝送する。これは高位層I−ピクチャのモー
ドと同じ方法である。また、本発明では、動きベクトル
を伝送しないことによって、動きベクトルを探すための
複雑度を減らす。従って、既存方式のモードで“Inter
coded && MVD=0”と“Inter coded && MVD!=0”と
は、1つのモード“Inter coded”で表現し、“Inter n
ot coded &&MVD=0”と“Inter not coded && MVD!=
0”は“Inter not coded”として表現する。“Inter c
oded”と“Inter not coded”の場合、以前映像から動
き補償してMBを持ってくるために動きベクトルが必要
である。動きベクトルは、最下位階層(base層)の動き
ベクトルを映像の大きさの比率で調整した後に使用す
る。
【0137】最下位階層(基本層)から動きベクトルを
得る方法は下記のとおりである。 1.最下位階層の該当MBのモードが“all_0”、“al
l_255”または“Intra CAE”の場合、現在階層のM
Bの動きベクトルは0である。 2.最下位階層の該当MBのモードが“MVDs==0 &&
No Update”、“MVDs!=0 && No Update”、“Inte
rCAE && MVDs==0”または“InterCAE && MVD
s!=0”の場合、最下位階層で再生された動きベクト
ルを使用する。
【0138】このとき、最下位階層の映像と現在階層の
映像の大きさの比率によって、最下位階層の動きベクト
ルを調整する。x軸動きベクトルは、映像のx軸大きさ
の比率によって調整され、y軸動きベクトルは映像のy
軸大きさの比率によって調整される。例えば、現在階層
の映像が最下位階層の映像よりx軸にn倍、y軸にm倍
大きいとすれば、現在MBの動きベクトルは、最下位階
層の動きベクトルでX軸動きベクトルにn倍、y軸動き
ベクトルにm倍掛けて得る。
【0139】本発明において、P−ピクチャとB−ピク
チャの高位層のモードは、既存方式の8種類モードから
4種類モードに減る。各MBに対するモードの符号(Co
de)を下記のような符号化テーブルを使用して符号化す
る。この場合発生されるビットを減らすために、下記の
ようにすぐ下階層(lower層)のモードと画素値等を利
用して符号化テーブルを構成する。
【0140】ここで、すぐ下階層のモード符号化方法は
2番目の方法は下記のとおりである。 (1)“all_0”、“all_255”、“Intra not code
d”または現在層のMBに該当する下層マクロブロック
領域内の全ての画素(sample)が0であったり、または
全ての画素(sample)が255である場合 (2)“Intra CAE”または“Intra coded” (3)“MVDs==0 && No Update”、“MVDs!=0
&& No Update”または“Inter not coded” (4)“Inter CAE && MVDs==0”、“Inter CAE &&
MVDs!=0”または“Inter coded” すぐ下階層(lower層)が最下位階層(base層)の場合
とそうでない場合とを分けて説明すると下記のとおりで
ある。
【0141】まず、すぐ下階層(lower層)が最下位階
層(base層)の場合: (1)“all_0”または“all_255”または現在層の
MBに該当する下層の領域内の全ての画素(sample)が
0の場合または全ての画素(sample)が255の場合 (2)“Intra CAE” (3)“MVDs==0 && NoUpdate”または“M
VDs!=0 && No Update” (4)“InterCAE && MVDs==0”または“Inter
CAE && MVDs!=0”
【0142】すぐ下階層(lower層)が最下位層(base
層)でない場合: (1)“Intra not coded”または現在層MBに該当す
る下層の領域内の全ての画素(sample)が0の場合、ま
たは全ての画素(sample)が255の場合 (2)“Intra coded” (3)“Inter not coded” (4)“Inter coded” 下層モードを知っている場合、高位層モードに対するコ
ード(first shape code)を下記のように定める。
【0143】
【表3】
【0144】ISO/IEC WG11で現在標準化が
進行中のMPEG−4ではビットストリームから映像を
区別するために、映像が始まる時、23個の連続する
‘0’を表示する。映像内で23個の連続した‘0’が
発生する場合、映像のスタートに判断するようになる。
従って、映像のスタートでない場合、23個の連続する
‘0’が発生しないようにする必要がある。<コードテ
ーブル1>は23個の連続する‘0’が発生することが
できるので、下記のような表を使用する。
【0145】
【表4】
【0146】すぐ下階層(lower層)が(2)の場合、
現在階層(高位層)が(1)の場合より(3)の場合が
より多く発生することができるが、その時は次のテーブ
ルを使用する。
【0147】
【表5】
【0148】伝送エラーにより一部の‘1’が‘0’に
変わって、23個の連続する‘0’が容易に発生しない
ように、できるだけ‘1’が多く発生するようにするこ
とが有利である。従って、前記のテーブルにおいて全て
のモードに‘1’が必ず含まれるように下記のように変
更する。
【0149】<コードテーブル2>を修正して下記のよ
うなテーブルを構成する。
【0150】
【表6】
【0151】また前記のような理由により<コードテー
ブル3>を修正して下記のようなテーブルを構成する。
【0152】
【表7】
【0153】本発明においてモードを決定する順序は、
既存の方法を改善して下記のように決定する。データベ
ースから願う映像または二進映像を迅速に探すために、
MB単位で“all_0”、“all_255”または“all_
0”や“all_255”でないMB(即ちedgeに該当する
MB)を区分する必要がある。このように区分すると、
MBを1個の画素で表示する小さい大きさの二進映像が
作られ、小さい大きさの二進映像から全体の映像のおお
むねを判断することができ、全体映像が探そうとする映
像であるか否かが分かる。
【0154】即ち、“all_0”MBは0値の画素で表示
し、“all_255”MBは255の値で表示し、“all_
0”や“all_255”でないMB(即ちedgeに該当する
MB)は、128値に表示することにより、小さい大き
さの映像が得られる。このように、“all_0”、“all_
255”または“all_0”や“all_255”でないMB
を正確に区分するために、“all_0”または“all_25
5”が先に決定されなければならない。従って、下記の
ような順序によりモードを決定する。
【0155】最下位階層では下記のような順序で決定す
る。 (1)“all_0”または“all_255” (2)“MVDs==0 && No Update"または“MVDs!=0
&& No Update" (3)“Intra CAE”と“Inter CAE && MVDs==0”ま
たは“Inter CAE && MVDs!=0”の中でビットが少なく
発生するモード。
【0156】高位層では前記の理由だけでなく、“all_
0”または“all_255”が先だって決定される場合が
発生されるビット数が少なくなるので、下記のように高
位層I−ピクチャとP−ピクチャに対するモード決定方
法を使用する。
【0157】I−ピクチャの高位層に対するモード決定
順序は下記のとおりである。 (1)“all_0”または“all_255”の場合“Intra n
ot coded"に決定 (2)下層(lower層)から予測されて構成されたMB
と現在のMBとを比較して、エラーが基準値以下の場合
“Intra not coded"に決定 (3)“Intra coded"
【0158】P−ピクチャまたはB−ピクチャの高位層
に対するモード決定順序は、図5のような順序により決
定されるが、“Intra predicted”より“Internot code
d”を先に決定することがビット発生を少なくすること
ができるが、これを考えて下記のような順序でモードを
決定する。
【0159】(1)“all_0”または“all_255”の
場合“Intra not coded"に決定 (2)“Inter not coded"に決定 (3)下層から予測されて構成されたMBと現在のMB
とを比較して、エラーが基準値以下の場合“Intra not
coded"に決定 (4)“Intra coded"と“Inter coded"によって符号化
をそれぞれ遂行し、その中で発生ビットが少ないモード
に決定 各MB毎に前記の順序によりモードが決定され、前記の
順序で1つが決定されるとモード決定を終え、次のMB
モードを決定する。
【0160】
【発明の効果】以上のように、二進映像のモードに従っ
て下層を参照して符号化し、下層と高位層との間の相関
性を考慮して符号化ビットを割り当てることによって、
符号化ビット量を減らして符号化効率を向上させ得るよ
うになる。
【図面の簡単な説明】
【図1】 本発明によるI−ピクチャの高位層を符号化
する方法を示すフローチャートである。
【図2】 本発明による高位層映像が“Intra not code
d”モードであるかを判断する方法を示すフローチャー
トである。
【図3】 ビットストリームで復号したモード情報が
“Intra not coded”である場合、復号化する方法を示
すフローチャートである。
【図4】 図3と同様な復号化する方法を示すフローチ
ャートである。
【図5】 本発明による高位層P−ピクチャとB−ピク
チャを符号化するフローチャートである。
【図6】 最下位階層の映像と現在階層の映像の大きさ
の比率によって、最下位階層の動きベクトルを調整する
方法を示す。
【図7】 本発明による高位層P−ピクチャまたはB−
ピクチャを復号化するフローチャートである。
【図8】 本発明による伸縮型符号化装置の構成を示す
ブロック図である。
【図9】 本発明による伸縮型符号化手段の一実施の形
態を示すブロック図である。
【図10】 本発明による“Intra not coded”モード
決定手段の構成を示すブロック図である。
【図11】 本発明による“Inter not coded”モード
決定手段の構成を示すブロック図である。
【図12】 本発明による伸縮型復号化装置の構成を示
すブロック図である。
【図13】 本発明による伸縮型復号化手段の構成を示
すブロック図である。
【図14】 本発明による伸縮型復号化手段の“Intra
not coded”マクロブロック構成手段の構成を示すブロ
ック図である。
【図15】 一般的な映像情報の伸縮型符号化方法であ
る。
【図16】 スキャンインターリーブ方法である。
【図17】 CAE(Context-based Arithmetic EnCod
e)方法に使用されるコンテキストの説明図である。
【図18】 空間的伸縮型符号化で、現在層(current
layer)と下層(lower layer)間の関係を説明する説明
図である。
【符号の説明】
131、171:調整手段、132:動き補償手段、1
33、134:符号化手段、135、136:モード決
定手段、138:貯蔵手段、141、143、144、
145:判断手段、146:論理演算手段、151:抽
出手段、152:エラー比較手段、162:映像貯蔵手
段。
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 1998−9479 (32)優先日 1998年3月19日 (33)優先権主張国 韓国(KR) (72)発明者 千 勝 文 大韓民国京畿道利川市夫鉢邑牙美里山149 −1現代アパートメント301−1403 (72)発明者 金 海 光 大韓民国ソウル市廣津區君子洞467−14 (72)発明者 金 在 均 大韓民国大田市儒城區漁隱洞ハンピックア パートメント107−401

Claims (34)

    【特許請求の範囲】
  1. 【請求項1】 二進映像を解像度が異なる複数個の階層
    に符号化する伸縮型符号化方法において、 高位層の映像を所定の大きさのブロックに分割する第1
    段階と、 前記高位層のブロックとそれに対応する下層の領域内の
    画素とを比較して同一の場合、または同一でなくても差
    のある画素の個数が基準値以下の場合には1つのモード
    に設定してそのモードを表示する付加情報を伝送する第
    2段階と、 前記の第2段階以外の場合は、前記高位層のブロックを
    符号化し、そのモードを表示する付加情報と共に伝送す
    る第3段階とを備えることを特徴とする下層と現在層の
    モードを利用した伸縮型二進映像符号化方法。
  2. 【請求項2】 前記第3段階の符号化方法は、CAE
    (Context based Arithmetic Encoding)方法であるこ
    とを特徴とする請求項1記載の下層と現在層のモードを
    利用した伸縮型二進映像符号化方法。
  3. 【請求項3】 二進映像を解像度が異なる複数個の階層
    に復号化する伸縮型復号化方法において、 符号化モードを表示する付加情報と符号化データとを受
    信して復号化する段階と、 前記付加情報が符号化しないモードの場合、下層を参照
    して下層の該当領域の画素の全てが“0”の場合、高位
    層のMB(Macro Block)の全てを“0”に詰め、下層
    の該当領域の画素の全てが“255”の場合、高位層の
    MBの全てを“255”に詰め、下層の該当領域の全て
    の画素が“0”または“255”でない場合、下層のM
    Bからアップサンプリングして高位層のMBを作ること
    を特徴とする下層と現在層のモードを利用した伸縮型二
    進映像復号化方法。
  4. 【請求項4】 二進映像を解像度が異なる複数個の階層
    に符号化する伸縮型符号化方法において、P−ピクチャ
    またはB−ピクチャの符号化モードを、下記のように4
    種類のモード (1)“Intra Not coded”(“all_0”、“all_25
    5”、“intra not coded”) (2)“Intra coded” (3)“Inter Not coded”(“Inter not coded && MV
    D=0”、“Inter not coded && MVD!=0”) (4)“Inter coded”(“Inter coded && MVD=
    0”、“Inter coded && MVD!=0”) に定めることを特徴とする下層と現在層のモードを利用
    した伸縮型二進映像符号化方法。
  5. 【請求項5】 符号化モードが“Intra Not coded”と
    “Intra coded”の場合、前記請求項1項の“Intra Not
    coded”と“Intra coded”と同じであり、“Inter Not
    coded”は下層の動きベクトルを利用して、以前の映像
    から持ってきたMBと比較して、差がある画素のMB内
    の和が基準値以下の場合であり、“Inter coded”は下
    層の動きベクトルを利用して、以前の映像から持ってき
    たMBと比較して、差がある画素のMB内の和が基準値
    以上の場合であることを特徴とする請求項4記載の下層
    と現在層のモードを利用した伸縮型二進映像符号化方
    法。
  6. 【請求項6】 “Inter coded”と“Inter not coded”
    の場合、動きベクトルは基本層(base層)の動きベクト
    ルを、現在層の映像の大きさの比率に調整して使用する
    ことを特徴とする請求項4または5記載の下層と現在層
    のモードを利用した伸縮型二進映像符号化方法。
  7. 【請求項7】 前記“Inter Not coded”の場合は、下
    層の動きベクトルを使用して、以前の映像から持ってき
    たMBを使用してCAEを遂行することによって高位層
    MBを得ることを特徴とする請求項4または5記載の下
    層と現在層のモードを利用した伸縮型二進映像符号化方
    法。
  8. 【請求項8】 二進映像を解像度が異なる複数個の階層
    に符号化する伸縮型符号化方法において、 現在のマクロブロックが“Intra not coded”であるか
    を判断する段階と、 前記現在のマクロブロックが“Intra not coded”モー
    ドでない場合、“Intracoded”モードを表示する付加情
    報を復号化側に伝送し、現在マクロブロックをスキャン
    インターリーブ方法により符号化して復号化側に伝送す
    る段階と、 前記現在マクロブロックが“Intra not coded”モード
    の場合、“Intra not coded”モードを表示する付加情
    報を復号化側に伝送する段階を備えることを特徴とする
    下層と現在層のモードを利用した伸縮型二進映像符号化
    方法。
  9. 【請求項9】 前記現在マクロブロックをスキャンイン
    ターリーブ方法により符号化して復号化側に伝送する段
    階は、ESDの存在有無に対する情報を送り、ESDが
    存在すればMB全体をCAE遂行し、ESDが存在しな
    ければTSD(Transitional Sample Data)のみCAE
    を遂行することを特徴とする請求項8記載の下層と現在
    層のモードを利用した伸縮型二進映像符号化方法。
  10. 【請求項10】 前記現在のマクロブロックが“Intra
    not coded”であるかを判断する過程は、現在マクロブ
    ロックに該当する下層領域が“all_0”モードであるか
    を判断する第1段階と、前記下層領域が“all_0”モー
    ドの場合、現在のマクロブロックが“all_0”モードで
    あるかを判断して、現在マクロブロックと対応する下層
    領域が同時に“all_0”モードである場合、“Intra no
    t coded”モードを表示する付加情報を復号器側に伝送
    する第2段階と、第2段階の判断で、現在マクロブロッ
    クまたは対応する下層領域が“all_0”モードでない場
    合、現在マクロブロックに対応する下層領域が“all_2
    55”モードであるかを判断する第3段階と、前記下層
    領域が“all_255”モードの場合、現在マクロブロッ
    クが“all_255”モードであるかを判断して、現在マ
    クロブロックと対応する下層領域が同時に“all_25
    5”モードの場合、“Intra not coded”モードを表示
    する付加情報を復号器側に伝送する第4段階と、第4段
    階の判断で、現在のマクロブロックまたは対応する下層
    領域が“all_255”モードでない場合、現在マクロブ
    ロックが“Intra predicted”モードであるかを判断す
    る第5段階と、現在マクロブロックが“Intra predicte
    d”モードの場合、“Intra notcoded”モードを表示す
    る付加情報を復号器側に伝送する段階に進行し、現在マ
    クロブロックが“Intra predicted”モードでない場
    合、“Intra coded”または“Inter coded”モードを符
    号化する段階に進行する第6段階を備えることを特徴と
    する請求項8記載の下層と現在層のモードを利用した伸
    縮型二進映像符号化方法。
  11. 【請求項11】 二進映像を解像度が異なる複数個の階
    層に符号化する伸縮型復号化方法において、 下層のMBが“all_0”であるか、現在マクロブロック
    のMBに該当する下層領域内の全ての画素(sample)が
    0の場合、現在層MB内の全ての画素は0に置換される
    段階と、 前記下層のMBが“all_255”であるか、現在層MB
    に該当する下層領域内の全ての画素が255の場合、現
    在層MB内の全ての画素は255に置換される段階と、 前記下層のMBが“all_0”でなく“all_255”でも
    なければ、前記下層から予測されて構成されたMBを現
    在層のMBとして使用する段階とを備えることを特徴と
    する下層と現在層のモードを利用した伸縮型二進映像復
    号化方法。
  12. 【請求項12】 二進映像を解像度が異なる複数個の階
    層に符号化する伸縮型符号化方法において、 現在マクロブロックが“Intra not coded”であるかを
    判断する段階と、 “Intra not coded”の場合は符号化せず、“Intra not
    coded”モードを表示する付加情報のみを伝送する段階
    と、 “Intra not coded”でなければ“Inter not coded”、
    “Inter coded”及び“Inter not coded”の動きベクト
    ルは、下層の動きベクトルをそのまま使用して動きベク
    トルを再生する段階と、 現在マクロブロックが“Inter not coded”であるかを
    判断する段階と、 “Inter not coded”の場合、現在マクロブロックを符
    号化せず、“Inter notcoded”モードを表示する付加情
    報のみ伝送する段階と、 現在マクロブロックが“Inter not coded”でない場
    合、現在マクロブロックが“Intra coded”であるかを
    判断する段階と、 現在マクロブロックが“Intra coded”である場合、“I
    ntra coded”モードを表示する付加情報と現在マクロブ
    ロックをスキャンインターリーブ方法により符号化する
    段階と、 “Intra coded”でない場合、“Inter coded”モードを
    表示する付加情報を伝送し、現在マクロブロックをCA
    E符号化する段階とを備えることを特徴とする下層と現
    在層のモードを利用した伸縮型二進映像符号化方法。
  13. 【請求項13】 二進映像を解像度が異なる複数個の階
    層に符号化する伸縮型符号化方法において、 ビットストリーム(Bit stream)からモードを復号化す
    る段階と、 前記のモードが“Intra not coded”の場合、下層の該
    当マクロブロックのモードによって復号化せず画素を選
    択する段階と、 “Intranot coded”でない場合、動きベクトルを再生す
    る段階と、 現在マクロブロックが“Inter not coded”モードであ
    るかを判断する段階と、 前記のモードが“Inter not coded”の場合は復号化せ
    ず、以前の映像で動き補償して現在MBの画素を詰める
    段階と、 “Inter not coded”でない場合、現在マクロブロック
    が“Intra coded”であるかを判断する段階と、 “Intra coded”の場合は、現在マクロブロックをスキ
    ャンインターリーブ方法により復号化する段階と、 “Intra coded”でない場合、現在マクロブロックをC
    AE復号化する段階を備えることを特徴とする下層と現
    在層のモードを利用した伸縮型二進映像符号化方法。
  14. 【請求項14】 前記動きベクトルを再生する段階で、
    “Inter Not coded”、“Inter coded”及び“Inter no
    t coded”の動きベクトルは、下層の動きベクトルをそ
    のまま使用して動きベクトルを再生することを特徴とす
    る請求項13記載の下層と現在層のモードを利用した伸
    縮型二進映像符号化方法。
  15. 【請求項15】 二進映像を解像度が異なる複数個の階
    層に符号化する伸縮型符号化装置において、 その前端のサブサンプリング手段から映像が入力されサ
    ブサンプリングする多数のサブサンプリング手段と、 前記のサブサンプリング手段でサブサンプリングされた
    各層の映像が入力され、所定の大きさのマクロブロック
    単位に分割して出力する多数のスキャン順序変換手段
    と、 前記スキャン順序変換手段で各層の映像マクロブロック
    及び下層の映像ブロックと各層の以前の映像が入力さ
    れ、“all_0”、“all_255”、“Intra notcoded”
    の3種類のモードを1つのモードとして符号化し、“In
    ter not Coded && MVD=0”と“Inter not coded && M
    VD!=0”とを“Inter not coded”モードに、そして
    “Inter coded && MVD=0”と“Inter coded && MVD!
    =0”を“Inter coded”モードに置いて伸縮型符号化
    する多数の伸縮型符号化手段を備えることを特徴とする
    下層と現在層のモードを利用した伸縮型二進映像符号化
    装置。
  16. 【請求項16】 前記伸縮型符号化手段は、前記基本層
    伸縮型符号化手段から動きベクトルが入力され、現在層
    と基本層の比率に拡大して出力する動きベクトル調整手
    段と、現在層の以前の映像と前記動きベクトル調整手段
    から出力される調整された動きベクトルが入力され、現
    在層の以前の映像から現在のマクロブロックに該当する
    部分を探して出力する動き補償手段と、現在層映像のマ
    クロブロックと動き補償された現在層の以前の映像が入
    力されてCAE符号化するCAE符号化手段と、現在層
    映像と下層映像のマクロブロックが入力され、スキャン
    インターリーブ方法により符号化するスキャンインター
    リーブ符号化手段と、現在層映像と下層映像のマクロブ
    ロックが入力され、そのマクロブロックが“Inter not
    coded”モードであるかを表示する信号を出力する“Int
    ra not coded”モード決定手段と、現在層映像のマクロ
    ブロックと前記動き補償手段から出力される動き補償さ
    れた現在層の以前映像が入力され、現在層のマクロブロ
    ックが“Inter not coded”モードであるかに対する信
    号を出力する“Inter not coded”モード決定手段と、
    前記のスキャンインターリーブ符号化手段とCAE符号
    化手段から出力されるビットストリームの大きさを比較
    して、小さい方を選択する信号を出力する比較手段と、
    前記“Intra not coded”モード決定手段、“Inter not
    coded”モード決定手段及び比較手段から信号が入力さ
    れ、それら信号の組合によって選択されたモードに該当
    するデータを出力するモードテーブル貯蔵手段と、前記
    “Intra not coded”モード決定信号、“Inter not cod
    ed”モード決定信号及び比較手段の比較結果信号が入力
    され、前記のスキャンインターリーブ符号化手段とCA
    E符号化手段から出力される信号の中のいずれか1つを
    選択して出力する選択手段を備えることを特徴とする請
    求項15記載の下層と現在層のモードを利用した伸縮型
    二進映像符号化装置。
  17. 【請求項17】 前記の“Intra not coded”モード決
    定手段は、現在マクロブロックに対応する下層のマクロ
    ブロックをアップサンプリングして、現在マクロブロッ
    クとの差分絶対値を抽出し、その差が臨界値より小さい
    のかを判断する物体/背景非符号判断手段と、現在マク
    ロブロックに対応する下層のマクロブロックが入力され
    て、物体モードであるかを判断する下層物体モード判断
    手段と、現在マクロブロックに対応する下層のマクロブ
    ロックが入力されて背景モードであるかを判断する背景
    モード判断手段と、現在マクロブロックが入力されて背
    景モードであるかを判断する現在層物体モード判断手段
    と、現在マクロブロックが入力されて物体モードである
    かを判断する現在層背景エラー判断手段と、前記の物体
    /背景非符号判断手段、下層物体モード判断手段、下層
    背景モード判断手段、現在層物体モード判断手段及び現
    在層背景エラー判断手段から出力される信号を論理演算
    し、“all_0”と“all_255”、“Intra predicte
    d”の中のいずれが発生したかを表示する信号を出力す
    る論理演算手段とを備えることを特徴とする請求項16
    記載の下層と現在層のモードを利用した伸縮型二進映像
    符号化装置。
  18. 【請求項18】 前記“Inter not coded”モード決定
    手段は、現在マクロブロックと動き補償された以前映像
    の対応マクロブロックが入力されて差分絶対値を取る差
    分絶対値抽出手段と、前記差分絶対値が臨界値より小さ
    いのかを判断するエラー比較手段と、前記エラー比較手
    段の出力と現在入力される映像のモードを表示する情報
    をアンド演算するアンドゲートとから構成されることを
    特徴とする請求項16記載の下層と現在層のモードを利
    用した伸縮型二進映像符号化装置。
  19. 【請求項19】 物体/背景非符号判断手段は、現在マ
    クロブロックに対応する下層のマクロブロックをアップ
    サンプリングするアップサンプリング手段と、前記アッ
    プサンプリングされた下層マクロブロックと現在マクロ
    ブロックとの差分絶対値を抽出する差分絶対値抽出手段
    と、前記抽出された差分絶対値が臨界値より小さいのか
    を判断するエラー比較手段とから構成されることを特徴
    とする請求項17記載の下層と現在層のモードを利用し
    た伸縮型二進映像符号化装置。
  20. 【請求項20】 下層物体モード判断手段は、現在マク
    ロブロックに対応する下層のマクロブロックが入力さ
    れ、全ての物体値を有するのかを判断する物体判断手段
    と、下層の以前映像のMBのモードと上記物体判断手段
    の出力をオア演算するオアゲートとを具備することを特
    徴とする請求項17記載の下層と現在層のモードを利用
    した伸縮型二進映像符号化装置。
  21. 【請求項21】 下層背景モード判断手段は、現在マク
    ロブロックに対応する下層の領域がすべて背景値を有す
    るのかを判断する背景判断手段と、下層の以前映像のM
    Bのモードと上記背景体判断手段の出力をオア演算する
    オアゲートとを具備することを特徴とする請求項17記
    載の下層と現在層のモードを利用した伸縮型二進映像符
    号化装置。
  22. 【請求項22】 現在層物体モード判断手段は、入力さ
    れる現在のマクロブロックと、全て“0”値を有するマ
    クロブロックとの差分を求め、その絶対値を取る物体差
    分絶対値抽出手段と、前記抽出された差分絶対値が臨界
    値より小さい値であるかを判断するエラー比較手段から
    構成されることを特徴とする請求項17記載の下層と現
    在層のモードを利用した伸縮型二進映像符号化装置。
  23. 【請求項23】 二進映像を解像度が異なる複数個の階
    層に復号化する伸縮型復号化装置において、 各層のビットストリーム、基本層の動きベクトル、以前
    映像及び下層復号化映像とをそれぞれ受信して伸縮型復
    号化する多数の伸縮型復号化手段と、 前記多数の伸縮型復号化手段の中で、最上位の伸縮型復
    号化手段から入力される現在層の映像ブロックを貯蔵す
    る映像貯蔵手段とを備えることを特徴とする下層と現在
    層のモードを利用した伸縮型二進映像復号化装置。
  24. 【請求項24】 前記伸縮型復号化手段は、前記多数の
    伸縮型復号化手段の中の基本層伸縮型復号化手段から動
    きベクトルが入力され、現在層と基本層の比率に拡大し
    て出力する動きベクトル調整手段と、現在層の以前映像
    と前記動きベクトル調整手段から出力される調整された
    動きベクトルが入力され、現在層の以前映像から現在マ
    クロブロックに該当するマクロブロックを動き補償して
    出力する動き補償手段と、現在層ビットストリームと映
    像のモードを表示する信号が入力されて、モード情報を
    復号化するモード復号手段と、下層映像のブロックとそ
    のモードが入力されて、前もって決定された規則に従っ
    て処理して現在映像ブロックを出力する“Intra not co
    ded”ブロック構成手段と、現在層映像のビットストリ
    ームと動き補償された現在層の以前映像が入力されてC
    AE符号化して出力するCAE符号化手段と、現在層映
    像のビットストリームと下層映像のブロックが入力され
    てスキャンインターリーブ方法により復号化するスキャ
    ンインターリーブ復号化手段と、前記のモード復号手段
    で復号されたモードに従って前記各手段から出力される
    信号を選択して出力する多重化手段を備えることを特徴
    とする請求項23記載の下層と現在層のモードを利用し
    た伸縮型二進映像復号化装置。
  25. 【請求項25】 前記“Intra not coded”ブロック構
    成手段は、現在マクロブロックに対応する下層のマクロ
    ブロックの画素の全てが255であれば1を出力し、そ
    うでなければ0を出力する物体モード判断手段と、下階
    層のMBモードがall_255であるか、または前記物体
    モード判断手段の出力が1であれば1を出力する第1オ
    アゲートと、下階層のMB内の画素中、現在階層のMB
    に該当する領域内の画素の全てが0であれば1を出力
    し、そうでなければ0を出力する背景モード判断手段
    と、下階層のMBモードがall_0であるか、背景モード
    判断手段の出力が1であればその出力が1となる第2オ
    アゲートと、全ての画素が0であるMBを発生させる
    “all_0”ブロック発生手段と、全ての画素が255で
    あるMBを発生させる“all_255”ブロック発生手段
    と、下階層の領域をアップサンプリング(up samplin
    g)して、現在MBを構成するアップサンプリング手段
    と、前記第1オアゲートの出力信号に従って“all_25
    5”ブロック発生手段または前記アップサンプリング手
    段の出力を選択する第1マルチプレクサと、前記第2オ
    アゲートの出力信号に従って“all_0”ブロック発生手
    段または前記第1マルチプレクサの出力を選択する第2
    マルチプレクサから構成されることを特徴とする請求項
    24記載の下層と現在層のモードを利用した伸縮型二進
    映像復号化装置。
  26. 【請求項26】 二進映像を解像度が異なる複数個の階
    層に符号化する伸縮型符号化方法において、下層符号化
    モードを知っている場合、高位層の符号化モードに対す
    る発生ビット数を割り当てる時に、ホフマン(Hufman)
    符号化方式を用いて発生確率が多ければ小さいビット数
    を割り当て、発生確率が少なければ長いビットを割り当
    てて符号化することを特徴とする下層と現在層のモード
    を利用した伸縮型二進映像符号化方法。
  27. 【請求項27】 MBの符号化モードは、“Intra code
    d”が最も多く発生するので、全体の符号化モードに関
    係なく大部分“Intra coded”は1ビットまたは2ビッ
    トで比較的に少ないビット数を割り当てることを特徴と
    する請求項26記載の下層と現在層のモードを利用した
    伸縮型二進映像符号化方法。
  28. 【請求項28】 下層モードを知っている場合、高位層
    モードに対するコードの割り当てられたビットは、次の
    2種類(1)1bit:0、2bit:10、3bit:110、他
    の3bit:111 (2)1bit:1、2bit:01、3bit:001、他の3bi
    t:000 を使用することを特徴とする請求項26記載の下層と現
    在層のモードを利用した伸縮型二進映像符号化方法。
  29. 【請求項29】 MPEG−4でビットストリームのス
    タートとエンドを表示する所定個数連続した“0”が、
    伝送エラーにより一部の‘1’が‘0’に変わって連続
    する‘0’が容易に発生されないように、‘1’が多く
    発生するようにコードを設定することを特徴とする請求
    項26記載の下層と現在層のモードを利用した伸縮型二
    進映像符号化方法。
  30. 【請求項30】 すぐ下の階層(lower層)が(2)“I
    ntra coded”モードである場合、現在階層が(1)“In
    tra not coded”である場合より(3)“Inter not cod
    ed”の場合に、より少ないビットを割り当てることを特
    徴とする請求項26記載の下層と現在層のモードを利用
    した伸縮型二進映像符号化方法。
  31. 【請求項31】 下階層及び高位層の符号化モードを (1)動き補償せず符号化するモード (2)動き報償せず符号化しないモード (3)動き補償の後符号化するモード (4)動き補償の後符号化しないモード に区分し、 前記の下階層が(1)のとき、高位層が(1)の場合に
    “0”、(2)の場合に“10”、(3)の場合に“1
    10”、(4)の場合に“111”と付加情報を設定
    し、 前記の下階層が(2)のとき、高位層が(1)の場合に
    “110”、(2)の場に合“0”(3)の場合に“1
    0”、(4)の場合に“111”と付加情報を設定し、 前記の下階層が(3)のとき、高位層が(1)の場合に
    “110”、(2)の場に合“10”(3)の場合に
    “0”、(4)の場合に“111”と付加情報を設定
    し、 前記の下階層が(1)のとき、高位層が(1)の場合に
    “111”、(2)の場合に“0”(3)の場合に“1
    11”、(4)の場合に“10”と付加情報を設定する
    ことを特徴とする請求項26記載の下層と現在層のモー
    ドを利用した伸縮型二進映像符号化方法。
  32. 【請求項32】 前記付加情報を“0”は“1”に、
    “1”は“0”に替えて設定することを特徴とする請求
    項31記載の下層と現在層のモードを利用した伸縮型二
    進映像符号化方法。
  33. 【請求項33】 前記下階層が(2)の場合、高位層が
    (1)の場合より(3)の場合に、さらに長いビットか
    らなる付加情報を設定することを特徴とする請求項31
    記載の下層と現在層のモードを利用した伸縮型二進映像
    符号化方法。
  34. 【請求項34】 前記の全ての場合に“1”が含まれる
    ように付加情報を設定することを特徴とする請求項31
    記載の下層と現在層のモードを利用した伸縮型二進映像
    符号化方法。
JP19480998A 1997-07-09 1998-07-09 スケーラブル二進映像符号化/復号化方法及び装置 Expired - Lifetime JP3596728B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR19970031815 1997-07-09
KR19970032644 1997-07-14
KR1019970038946A KR19990016416A (ko) 1997-08-14 1997-08-14 이진 모양정보의 신축형 모양정보 부호화시 부가정보 부호화방법
KR1019980009479A KR19990075333A (ko) 1998-03-19 1998-03-19 모양정보의 신축형 부호화시에 부호화모드를 결정하는 부가정보부호화방법
KR1997-38946 1998-03-19
KR1997-32644 1998-03-19
KR1997-31815 1998-03-19
KR1998-9479 1998-03-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004058266A Division JP2004242341A (ja) 1997-07-09 2004-03-02 スケーラブル二進映像符号化/復号化装置

Publications (2)

Publication Number Publication Date
JPH11150730A true JPH11150730A (ja) 1999-06-02
JP3596728B2 JP3596728B2 (ja) 2004-12-02

Family

ID=27483217

Family Applications (2)

Application Number Title Priority Date Filing Date
JP19480998A Expired - Lifetime JP3596728B2 (ja) 1997-07-09 1998-07-09 スケーラブル二進映像符号化/復号化方法及び装置
JP2004058266A Pending JP2004242341A (ja) 1997-07-09 2004-03-02 スケーラブル二進映像符号化/復号化装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2004058266A Pending JP2004242341A (ja) 1997-07-09 2004-03-02 スケーラブル二進映像符号化/復号化装置

Country Status (3)

Country Link
EP (1) EP0890923A3 (ja)
JP (2) JP3596728B2 (ja)
KR (1) KR100392379B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002094997A (ja) * 2000-08-11 2002-03-29 Thomson Licensing Sa 画像シーケンスのフォーマット変換方法
JP2013009409A (ja) * 2000-08-21 2013-01-10 Core Wireless Licensing S A R L ビデオ符号化方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100472457B1 (ko) * 2002-06-21 2005-03-10 삼성전자주식회사 차등 영상 압축 방법 및 그 장치
KR100679025B1 (ko) * 2004-11-12 2007-02-05 삼성전자주식회사 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치
KR100896279B1 (ko) 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100703776B1 (ko) * 2005-04-19 2007-04-06 삼성전자주식회사 향상된 코딩 효율을 갖는 컨텍스트 기반 적응적 산술 코딩및 디코딩 방법과 이를 위한 장치, 이를 포함하는 비디오코딩 및 디코딩 방법과 이를 위한 장치
CN101288311B (zh) * 2005-10-12 2011-05-11 汤姆森特许公司 用于可分级视频编码和解码中的加权预测的方法和装置
KR100763196B1 (ko) * 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
EP2651137A4 (en) 2010-12-08 2016-03-02 Lg Electronics Inc INTRA-PREDICTION METHOD, ENCODING APPARATUS, AND DECODING APPARATUS USING THE SAME
US9743097B2 (en) * 2013-03-01 2017-08-22 Qualcomm Incorporated Spatial motion vector scaling for scalable video coding
KR20220108227A (ko) 2021-01-25 2022-08-03 삼성디스플레이 주식회사 표시 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8700565A (nl) * 1987-03-10 1988-10-03 Philips Nv Televisiesysteem waarin aan een transformatiekodering onderworpen gedigitaliseerde beeldsignalen worden overgebracht van een kodeerstation naar een dekodeerstation.
US5414469A (en) * 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
KR0134342B1 (ko) * 1993-04-13 1998-04-29 김광호 동작추정에 의한 부호화방법 및 그 장치
US5388341A (en) * 1993-08-04 1995-02-14 Data Measurement Corporation Virtual two gauge profile system
KR970004924B1 (ko) * 1994-02-28 1997-04-08 대우전자 주식회사 계층적 부호화를 이용한 개선된 상위계층의 움직임 벡터 전송 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002094997A (ja) * 2000-08-11 2002-03-29 Thomson Licensing Sa 画像シーケンスのフォーマット変換方法
JP2013009409A (ja) * 2000-08-21 2013-01-10 Core Wireless Licensing S A R L ビデオ符号化方法

Also Published As

Publication number Publication date
EP0890923A2 (en) 1999-01-13
KR19990013733A (ko) 1999-02-25
KR100392379B1 (ko) 2003-11-28
JP2004242341A (ja) 2004-08-26
EP0890923A3 (en) 2005-06-15
JP3596728B2 (ja) 2004-12-02

Similar Documents

Publication Publication Date Title
US6351563B1 (en) Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
JP4358990B2 (ja) 動き推定システムおよび方法
US9020047B2 (en) Image decoding device
JP3895431B2 (ja) 物体境界ブロック合併/分割を利用した映像情報符号化方法
US6173013B1 (en) Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
EP0778709B1 (en) MPEG-2 decoding with a reduced RAM requisite by ADPCM recompression before storing MPEG decompressed data
US7408990B2 (en) Efficient motion vector coding for video compression
CN113545042A (zh) 三角预测中的合并列表构建
US20090067502A1 (en) Method for Scalably Encoding and Decoding Video Signal
CN110944185B (zh) 视频解码的方法和装置、计算机设备及存储介质
CN110719488A (zh) 视频解码的方法和装置、计算机设备及存储介质
US6128041A (en) Method and apparatus for binary shape encoding
CN114223199A (zh) 用于视频编解码的方法和设备
JP3596728B2 (ja) スケーラブル二進映像符号化/復号化方法及び装置
CN113661702A (zh) 视频编解码的方法和装置
JP2002519955A (ja) 画像符号化装置及び画像復号装置
CN114450957A (zh) 用于视频编码的方法和装置
CN113228680A (zh) 视频编解码中运动预测的方法和装置
JP2000217103A (ja) 物体単位映像信号符号化/復号化装置及び方法
CN115152208A (zh) 视频解码的方法和设备
US20040258153A1 (en) Dual block motion vector storage in compressed form
JPH10224795A (ja) 動画像符号化方法、復号方法、符号化器および復号器
US20060120459A1 (en) Method for coding vector refinement information required to use motion vectors in base layer pictures when encoding video signal and method for decoding video data using such coded vector refinement information
JP2004007788A (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、および動画像復号方法
CN113906739A (zh) 用于视频编解码的方法和装置

Legal Events

Date Code Title Description
A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20031202

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20031208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040406

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040902

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120917

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120917

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term