JP3344576B2 - The image coding apparatus and image coding method, image decoding apparatus and method - Google Patents

The image coding apparatus and image coding method, image decoding apparatus and method

Info

Publication number
JP3344576B2
JP3344576B2 JP2000184491A JP2000184491A JP3344576B2 JP 3344576 B2 JP3344576 B2 JP 3344576B2 JP 2000184491 A JP2000184491 A JP 2000184491A JP 2000184491 A JP2000184491 A JP 2000184491A JP 3344576 B2 JP3344576 B2 JP 3344576B2
Authority
JP
Japan
Prior art keywords
image
vop
position
decoding
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000184491A
Other languages
Japanese (ja)
Other versions
JP2001045496A (en
Inventor
陽一 矢ヶ崎
輝彦 鈴木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP26031296 priority Critical
Priority to JP8-260312 priority
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2000184491A priority patent/JP3344576B2/en
Publication of JP2001045496A publication Critical patent/JP2001045496A/en
Application granted granted Critical
Publication of JP3344576B2 publication Critical patent/JP3344576B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体および記録方法に関する。 BACKGROUND OF THE INVENTION The present invention relates to an image coding apparatus and image coding method, image decoding apparatus and method, and a recording medium and a recording method. 特に、 In particular,
例えば、動画像データを、光磁気ディスクや磁気テープなどの記録媒体に記録し、これを再生してディスプレイなどに表示したり、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システムなどのように、動画像データを伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合や、編集して記録する場合などに用いて好適な画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体および記録方法に関する。 For example, moving image data, recorded in a recording medium such as a magneto-optical disk or a magnetic tape, or displayed on a display by reproducing it, a video conference system, a television telephone system, broadcasting equipment, a multimedia database search system as such, and transmitted from the transmitting side to the receiving side through a transmission path moving image data, the receiving side receives this, and when displaying a suitable image by using, for example, to record and edit coding apparatus and image coding method, image decoding apparatus and method, and a recording medium and a recording method.

【0002】 [0002]

【従来の技術】例えば、テレビ会議システム、テレビ電話システムなどのように、動画像データを遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、画像データを、そのライン相関やフレーム間相関を利用して圧縮符号化するようになされている。 BACKGROUND ART For example, a television conference system, such as a television telephone system, in a system for transmitting moving image data to a remote location, in order to efficiently utilize the transmission path, the image data, the line correlation or frame using between correlations have been made to compress encoding.

【0003】動画像の高能率符号化方式として代表的なものとしてMPEG(Moving Picture Experts Group) [0003] MPEG Typical examples as high-efficiency video coding scheme (Moving Picture Experts Group)
(蓄積用動画像符号化)方式がある。 There are (storage moving picture coding) scheme. これはISO−I This ISO-I
EC/JTC1/SC2/WG11において議論され、 Is discussed in the EC / JTC1 / SC2 / WG11,
標準案として提案されたものであり、動き補償予測符号化とDCT(Discrete Cosine Transform)符号化を組み合わせたハイブリッド方式が採用されている。 Has been proposed as a standard plan, hybrid system combining motion compensated prediction coding and DCT (Discrete Cosine Transform) coding is employed.

【0004】MPEGでは、様々なアプリケーションや機能に対応するために、いくつかのプロファイルおよびレベルが定義されている。 [0004] In MPEG, in order to accommodate various applications and functions, several profiles and levels are defined. 最も基本となるのが、メインプロファイルメインレベル(MP@ML(Main Profile The most basic and become is, the main profile main level (MP @ ML (Main Profile
at Main Level))である。 at a Main Level)).

【0005】図42は、MPEG方式におけるMP@M [0005] FIG. 42, MP in the MPEG method @ M
Lのエンコーダの一例の構成を示している。 It shows an example of the configuration of the L of the encoder.

【0006】符号化すべき画像データは、フレームメモリ31に入力され、一時記憶される。 [0006] Image data to be encoded is input to frame memory 31, is temporarily stored. そして、動きベクトル検出器32は、フレームメモリ31に記憶された画像データを、例えば、16画素×16画素などで構成されるマクロブロック単位で読み出し、その動きベクトルを検出する。 Then, the motion vector detector 32, the image data stored in the frame memory 31, for example, read in units of macroblocks constituted by such 16 × 16 pixels, and detects the motion vector.

【0007】ここで、動きベクトル検出器32においては、各フレームの画像データを、Iピクチャ、Pピクチャ、またはBピクチャのうちのいずれかとして処理する。 [0007] Here, in the motion vector detector 32, the image data of each frame is treated as one of I picture, P picture or B-picture. なお、シーケンシャルに入力される各フレームの画像を、I,P,Bピクチャのいずれのピクチャとして処理するかは、予め定められている(例えば、I,B, Incidentally, an image of each frame is input sequentially, I, P, is either processed as any picture of the B picture is determined in advance (for example, I, B,
P,B,P,・・・B,Pとして処理される)。 P, B, P, ··· B, is treated as P).

【0008】即ち、動きベクトル検出器32は、フレームメモリ31に記憶された画像の中の、予め定められた所定の参照フレームを参照し、その参照フレームと、現在符号化の対象となっているフレームの16画素×16 Namely, the motion vector detector 32, in the image stored in the frame memory 31, with reference to the predetermined reference frame which is determined in advance, has its reference frame, the object of the current coding 16 pixels of the frame × 16
ラインの小ブロック(マクロブロック)とをパターンマッチング(ブロックマッチング)することにより、そのマクロブロックの動きベクトルを検出する。 By small block (macro block) and pattern matching of the line (block matching), to detect the motion vector of the macroblock.

【0009】ここで、MPEGにおいては、画像の予測モードには、イントラ符号化(フレーム内符号化)、前方予測符号化、後方予測符号化、両方向予測符号化の4 [0009] Here, in the MPEG, the prediction mode of the image is intra-coded (intra-frame coding), forward predictive coding, backward predictive coding, bidirectional predictive coding 4
種類があり、Iピクチャはイントラ符号化され、Pピクチャはイントラ符号化または前方予測符号化され、Bピクチャはイントラ符号化、前方予測符号化、後方予測符号化、または両方法予測符号化される。 There are types, I-pictures are intra-coded, P-pictures are intra-coded or forward predictive coding, B-pictures are intra-coded, forward predictive coding, is backward predictive coding, or both methods predictive coding .

【0010】即ち、動きベクトル検出器32は、Iピクチャについては、予測モードとしてイントラ符号化モードを設定する。 [0010] That is, the motion vector detector 32, the I-picture, sets the intra-coding mode as the predictive mode. この場合、動きベクトル検出器32は、 In this case, the motion vector detector 32,
動きベクトルの検出は行わず、予測モード(イントラ予測モード)を、VLC(可変長符号化)器36および動き補償器42に出力する。 Detection of motion vector is not performed, and outputs the prediction mode (intra prediction mode), VLC (variable length coding) unit 36 ​​and the motion compensator 42.

【0011】また、動きベクトル検出器32は、Pピクチャについては、前方予測を行い、その動きベクトルを検出する。 [0011] The motion vector detector 32, the P-picture performs forward prediction, and detects the motion vector. さらに、動きベクトル検出器32は、前方予測を行うことにより生じる予測誤差と、符号化対象のマクロブロック(Pピクチャのマクロブロック)の、例えば分散とを比較し、マクロブロックの分散の方が予測誤差より小さい場合、予測モードとしてイントラ符号化モードを設定し、VLC器36および動き補償器42に出力する。 Furthermore, the motion vector detector 32, a prediction error caused by performing forward prediction, the macroblock to be encoded (macroblocks in the P-picture), for example, compares the dispersion and the prediction is more of the variance of the macroblock If less than the error, it sets the intra-coding mode as the predictive mode and outputs it to the VLC unit 36 ​​and motion compensator 42. また、動きベクトル検出器32は、前方予測を行うことにより生じる予測誤差の方が小さければ、予測モードとして前方予測符号化モードを設定し、検出した動きベクトルとともに、VLC器36および動き補償器42に出力する。 The motion vector detector 32, the smaller the better the prediction error caused by performing forward prediction, sets the forward predictive coding mode as the prediction mode, the detected motion vector, VLC unit 36 ​​and motion compensator 42 and outputs it to.

【0012】さらに、動きベクトル検出器32は、Bピクチャについては、前方予測、後方予測、および両方向予測を行い、それぞれの動きベクトルを検出する。 Furthermore, the motion vector detector 32, the B-picture, forward prediction, performs backward prediction, and bidirectional prediction, detects the respective motion vectors. そして、動きベクトル検出器32は、前方予測、後方予測、 Then, the motion vector detector 32, forward prediction, backward prediction,
および両方向予測についての予測誤差の中の最小のもの(以下、適宜、最小予測誤差という)を検出し、その最小予測誤差と、符号化対象のマクロブロック(Bピクチャのマクロブロック)の、例えば分散とを比較する。 And the smallest of the inside of the prediction error for bidirectional prediction (hereinafter referred to as minimum prediction error) is detected, and the minimum prediction error, the macro block to be encoded of (macroblock of a B picture), for example, dispersing to compare the door. その比較の結果、マクロブロックの分散の方が最小予測誤差より小さい場合、動きベクトル検出器32は、予測モードとしてイントラ符号化モードを設定し、VLC器3 If the comparison indicates the variance of the macroblock is smaller than the minimum prediction error, the motion vector detector 32 sets the intra-coding mode as the predictive mode, VLC unit 3
6および動き補償器42に出力する。 And outputs 6 and the motion compensator 42. また、動きベクトル検出器32は、最小予測誤差の方が小さければ、予測モードとして、その最小予測誤差が得られた予測モードを設定し、対応する動きベクトルとともに、VLC器3 The motion vector detector 32, the smaller the better the minimum prediction error as a prediction mode, and sets the prediction mode whose minimum prediction error is obtained, along with the corresponding motion vector, VLC unit 3
6および動き補償器42に出力する。 And outputs 6 and the motion compensator 42.

【0013】動き補償器42は、動きベクトル検出器3 [0013] Motion compensator 42, motion vector detector 3
2から予測モードと動きベクトルの両方を受信すると、 When receiving both the prediction mode and the motion vector from 2,
その予測モードおよび動きベクトルにしたがって、フレームメモリ41に記憶されている、符号化され、既に局所復号化された画像データを読み出し、これを、予測画像として、演算器33および40に供給する。 In accordance with the prediction mode and motion vectors are stored in the frame memory 41 are encoded already reads out the image data locally decoded, this as a prediction image, and supplies to the arithmetic unit 33 and 40.

【0014】演算器33は、動きベクトル検出器32がフレームメモリ31から読み出した画像データと同一のマクロブロックを、フレームメモリ31から読み出し、 [0014] calculator 33, the motion vector detector 32 is the same as the image data read out from the frame memory 31 macroblock is read from the frame memory 31,
そのマクロブロックと、動き補償器42からの予測画像との差分を演算する。 And the macro block, calculates a difference between the predicted image from the motion compensator 42. この差分値は、DCT器34に供給される。 The difference value is supplied to the DCT unit 34.

【0015】一方、動き補償器42は、動きベクトル検出器32から予測モードのみを受信した場合、即ち、予測モードがイントラ符号化モードである場合には、予測画像を出力しない。 Meanwhile, the motion compensator 42, when receiving only the prediction mode from the motion vector detector 32, i.e., when the prediction mode is the intra-coding mode does not output a predicted image. この場合、演算器33(演算器40 In this case, the arithmetic unit 33 (operator 40
も同様)は、特に処理を行わず、フレームメモリ31から読み出したマクロブロックを、そのままDCT器34 Similarly) is not particularly perform processing, a macroblock which is read out from the frame memory 31, as DCT unit 34
に出力する。 And outputs it to.

【0016】DCT器34では、演算器33の出力に対して、DCT処理が施され、その結果得られるDCT係数が、量子化器35に供給される。 [0016] In DCT unit 34, the output of the arithmetic unit 33, DCT processing is performed, the resultant DCT coefficients are supplied to the quantizer 35. 量子化器35では、 The quantizer 35,
バッファ37のデータ蓄積量(バッファ37に記憶されているデータの量)(バッファフィードバック)に対応して量子化ステップ(量子化スケール)が設定され、その量子化ステップで、DCT器34からのDCT係数が量子化される。 Data storage amount in the buffer 37 (the amount of data stored in the buffer 37) a quantization step corresponding to the (buffer feedback) (quantization scale) is set in the quantization step, DCT from DCT unit 34 coefficients are quantized. この量子化されたDCT係数(以下、適宜、量子化係数という)は、設定された量子化ステップとともに、VLC器36に供給される。 The quantized DCT coefficients (hereinafter referred to as quantized coefficients), together with the set quantization step, are supplied to the VLC unit 36.

【0017】VLC器36では、量子化器35より供給される量子化ステップに対応して、同じく量子化器35 [0017] In VLC unit 36, in response to the quantization step supplied from the quantizer 35, like the quantizer 35
より供給される量子化係数が、例えばハフマン符号などの可変長符号に変換され、バッファ37に出力される。 Quantized coefficients are more supplied, for example, is converted into a variable length code such as Huffman code, is output to the buffer 37.
さらに、VLC器36は、量子化器35からの量子化ステップ、動きベクトル検出器32からの予測モード(イントラ符号化(画像内予測符号化)、前方予測符号化、 Moreover, VLC unit 36, the quantization step from the quantizer 35, prediction mode (intra-coding from the motion vector detector 32 (image predictive coding), forward predictive coding,
後方予測符号化、または両方向予測符号化のうちのいずれが設定されたかを示すモード)および動きベクトルも可変長符号化し、バッファ37に出力する。 Backward predictive coding, or mode) and a motion vector indicating which is set among the bidirectional predictive coding is also variable length coding, and outputs to the buffer 37.

【0018】バッファ37は、VLC器36からのデータを一時蓄積し、そのデータ量を平滑化して、例えば、 The buffer 37 temporarily stores the data from the VLC unit 36, the data amount is smoothed, for example,
伝送路に出力し、または記録媒体に記録する。 And output to the transmission path or recorded on a recording medium.

【0019】また、バッファ37は、そのデータ蓄積量を、量子化器35に出力しており、量子化器35は、このバッファ37からのデータ蓄積量にしたがって量子化ステップを設定する。 Further, the buffer 37, the data storage amount, is output to the quantizer 35, the quantizer 35 sets a quantization step in accordance with the amount of data stored from the buffer 37. 即ち、量子化器35は、バッファ37がオーバーフローしそうなとき、量子化ステップを大きくし、これにより、量子化係数のデータ量を低下させる。 That is, the quantizer 35, when the buffer 37 is about to overflow, increasing the quantization step, thereby reducing the data amount of quantized coefficients. また、量子化器35は、バッファ37がアンダーフローしそうなとき、量子化ステップを小さくし、これにより、量子化係数のデータ量を増大させる。 Further, the quantizer 35, when the buffer 37 is likely to underflow, to reduce the quantization step, thereby increasing the data quantity of quantized coefficients. このようにして、バッファ37のオーバフローとアンダフローを防止するようになっている。 In this way, so as to prevent overflow and underflow of the buffer 37.

【0020】量子化器35が出力する量子化係数と量子化ステップは、VLC器36だけでなく、逆量子化器3 The quantized coefficients and quantization step quantizer 35 outputs not only the VLC unit 36, the inverse quantizer 3
8にも供給されるようになされている。 It is adapted to be supplied to 8. 逆量子化器35 Inverse quantizer 35
では、量子化器35からの量子化係数が、同じく量子化器35からの量子化ステップにしたがって逆量子化され、これによりDCT係数に変換される。 In the quantization coefficients from the quantizer 35 is, likewise are inverse quantized according quantization step from the quantizer 35, thereby being converted into DCT coefficients. このDCT係数は、IDCT器(逆DCT器)39に供給される。 The DCT coefficients are supplied to IDCT unit (inverse DCT unit) 39. I
DCT器39では、DCT係数が逆DCT処理され、演算器40に供給される。 The DCT unit 39, DCT coefficients are inverse DCT processed, is supplied to the calculator 40.

【0021】演算器40には、IDCT器39の出力の他、上述したように、動き補償器42から、演算器33 [0021] operator 40, another output of the IDCT unit 39, as described above, from the motion compensator 42, the calculator 33
に供給されている予測画像と同一のデータが供給されており、演算器40は、IDCT器39からの信号(予測残差)と、動き補償器42からの予測画像とを加算することで、元の画像を、局所復号する(但し、予測モードがイントラ符号化である場合には、IDCT器39の出力は、演算器40をスルーして、フレームメモリ41に供給される)。 Is supplied with the same data as the predicted image supplied to the arithmetic unit 40 includes a signal from the IDCT unit 39 (prediction residuals), by adding the predicted image from the motion compensator 42, the original image and the local decoded (However, if the prediction mode is intra-coding, the output of the IDCT unit 39 to the arithmetic unit 40 and through, is supplied to the frame memory 41). なお、この復号画像は、受信側において得られる復号画像と同一のものである。 Note that this decoded image is identical to the decoded image obtained on the receiving side.

【0022】演算器40において得られた復号画像(局所復号画像)は、フレームメモリ41に供給されて記憶され、その後、インター符号化(前方予測符号化、後方予測符号化、量方向予測符号化)される画像に対する参照画像(参照フレーム)として用いられる。 The resultant decoded image in the calculator 40 (locally decoded image) is stored is supplied to the frame memory 41, then, inter-coding (forward predictive coding, backward predictive coding, the amount directional prediction encoding used as a reference image (reference frame) with respect to) the image to be.

【0023】次に、図43は、図42のエンコーダから出力される符号化データを復号化する、MPEGにおけるMP@MLのデコーダの一例の構成を示している。 Next, FIG. 43 decodes the coded data output from the encoder of FIG. 42 shows an example of the configuration of the decoder of MP @ ML in MPEG.

【0024】伝送路を介して伝送されてきた符号化データが図示せぬ受信装置で受信され、または記録媒体に記録された符号化データが図示せぬ再生装置で再生され、 The transmission line is coded data transmitted via the received by the receiving device (not shown), or recorded encoded data on the recording medium is reproduced by a reproducing apparatus, not shown,
バッファ101に供給されて記憶される。 Is supplied to and stored in the buffer 101.

【0025】IVLC器(逆VLC器)(可変長復号化器)102は、バッファ101に記憶された符号化データを読み出し、可変長復号化することで、その符号化データを、動きベクトル、予測モード、量子化ステップ、 The IVLC unit (inverse VLC unit) (variable length decoder) 102 reads out the coded data stored in the buffer 101, by variable length decoding, the encoded data, motion vector, prediction mode, quantization step,
および量子化係数に分離する。 And separating the quantization coefficients. これらのうち、動きベクトルおよび予測モードは動き補償器107に供給され、 Of these, the motion vector and predictive mode are supplied to the motion compensator 107,
量子化ステップおよび量子化係数は逆量子化器103に供給される。 Quantization step and the quantized coefficients are supplied to the inverse quantizer 103.

【0026】逆量子化器103は、IVLC器102より供給された量子化係数を、同じくIVLC器102より供給された量子化ステップにしたがって逆量子化し、 The inverse quantizer 103, the supplied quantized coefficients from IVLC 102, similarly to the inverse quantization in accordance with the supplied quantization step than IVLC 102,
その結果得られるDCT係数を、IDCT器104に出力する。 The resulting DCT coefficients, and outputs to the IDCT unit 104. IDCT器104は、逆量子化器103からのDCT係数を逆DCTし、演算器105に供給する。 IDCT unit 104, the DCT coefficients from the inverse quantizer 103 and inverse DCT, is supplied to the calculator 105.

【0027】演算器105には、IDCT器104の出力の他、動き補償器107の出力も供給されている。 [0027] computing unit 105, other output of the IDCT unit 104, the output of the motion compensator 107 is supplied. 即ち、動き補償器107は、フレームメモリ106に記憶されている、既に復号された画像を、図42の動き補償器41における場合と同様に、IVLC器102からの動きベクトルおよび予測モードにしたがって読み出し、 That is, the motion compensator 107 is stored in the frame memory 106, an image which has already been decoded, as in the motion compensator 41 of Figure 42, read in accordance with the motion vector and the prediction mode from IVLC 102 ,
予測画像として、演算器105に供給する。 As predicted image supplied to the arithmetic unit 105. 演算器10 Calculator 10
5は、IDCT器104からの信号(予測残差)と、動き補償器107からの予測画像とを加算することで、元の画像を復号する。 5, the signal from the IDCT unit 104 (prediction residuals), by adding the predicted image from the motion compensator 107, to decode the original image. この復号画像は、フレームメモリ1 The decoded image, a frame memory 1
06に供給されて記憶される。 06 is supplied and stored in the. なお、IDCT器104 Incidentally, IDCT 104
の出力が、イントラ符号化されたものである場合には、 Output of, if it is an intra coded,
その出力は、演算器105をスルーして、そのままフレームメモリ106に供給されて記憶される。 Its output is a calculator 105 and through, and stored is supplied as it is to the frame memory 106.

【0028】フレームメモリ106に記憶された復号画像は、その後に復号される画像の参照画像として用いられるとともに、適宜読み出され、例えば、図示せぬディスプレイなどに供給されて表示される。 The frame memory 106 to the stored decoded image, as well used as a reference image of the image to be decoded thereafter, appropriately read, for example, be displayed is supplied on a display not shown.

【0029】なお、MPEG1および2では、Bピクチャは、参照画像として用いられないため、エンコーダまたはデコーダそれぞれにおいて、フレームメモリ41 [0029] In the MPEG1 and 2, since the B-picture is not used as a reference image, in the respective encoder or decoder, the frame memory 41
(図42)または106(図43)には記憶されない。 Not stored in the (FIG. 42) or 106 (FIG. 43).

【0030】MPEGでは、以上のようなMP@MLの他にも、様々なプロファイルおよびレベルが定義され、 [0030] In MPEG, in addition to the above-described MP @ ML, a variety of profiles and levels are defined,
また各種のツールが用意されている。 The various tools are prepared. MPEGのツールの代表的なものの1つとしては、例えば、スケーラビリティがある。 The representative one although the MPEG tools, for example, there is scalability.

【0031】即ち、MPEGでは、異なる画像サイズやフレームレートに対応するスケーラビリティを実現するスケーラブル符号化方式が導入されている。 [0031] That is, In MPEG, a scalable coding system for implementing scalability corresponding to different image sizes and frame rates is introduced. 例えば、空間スケーラビリティでは、下位レイヤのビットストリームのみを復号する場合、画像サイズの小さい画像だけが得られ、下位レイヤおよび上位レイヤの両方のビットストリームを復号する場合、画像サイズの大きい画像が得られる。 For example, the spatial scalability, when decoding only the bit stream of the lower layer, only a small image of the image size is obtained, when decoding both the bit streams of the lower layer and the upper layer, large picture image size is obtained .

【0032】図44は、空間スケーラビリティを実現するエンコーダの一例の構成を示している。 [0032] Figure 44 shows an example of a configuration of an encoder for implementing spatial scalability. なお、空間スケーラビリティでは、例えば、下位レイヤは画像サイズの小さい画像信号、また上位レイヤは画像サイズの大きい画像信号に対応する。 In the spatial scalability, for example, the lower layer is less image signal of the image size and the upper layer corresponds to a large image signal of the image size.

【0033】上位レイヤ符号化部201には、例えば、 [0033] upper layer encoding unit 201 is, for example,
符号化すべき画像が、そのまま上位レイヤの画像として入力され、下位レイヤ符号化部202には、符号化すべき画像を間引いて、その画素数を少なくしたもの(従って、解像度を低下させ、そのサイズを小さくしたもの) Picture to be coded is inputted as it is as an image of the upper layer, the lower layer encoding unit 202, by thinning the image to be coded, that reduced the number of pixels (hence, reduce the resolution, the size those small)
が、下位レイヤの画像として入力される。 But is input as an image of the lower layer.

【0034】下位レイヤ符号化部202では、下位レイヤの画像が、例えば、図42における場合と同様にして予測符号化され、その符号化結果としての下位レイヤビットストリームが出力される。 [0034] In the lower layer encoding unit 202, an image of the lower layer, for example, is predictive encoding in the same manner as in FIG. 42, the lower layer bitstream as the encoding result is output. さらに、下位レイヤ符号化部202では、局所復号した下位レイヤの画像を、上位レイヤの画像のサイズと同一サイズに拡大したもの(以下、適宜、拡大画像という)が生成される。 Further, the lower layer encoding unit 202, an image of the lower layer which locally decoded, an enlarged to the same size as the image of the upper layer (hereinafter referred to as enlarged image) is generated. この拡大画像は、上位レイヤ符号化部201に供給される。 The enlarged image is supplied to the upper layer encoding unit 201.

【0035】上位レイヤ符号化部201でも、やはり、 [0035] Even the high-level-layer encoding unit 201, also,
例えば、図42における場合と同様にして、上位レイヤの画像が予測符号化され、その符号化結果としての上位レイヤビットストリームが出力される。 For example, in the same manner as the case in FIG. 42, the image of the upper layer is predictive coding, the upper layer bit stream as the coded result is output. なお、上位レイヤ符号化部201では、下位レイヤ符号化部202からの拡大画像をも参照画像として用いて、予測符号化が行われる。 In the upper layer encoding unit 201, by using as a reference image is also an enlarged image from the low-level-layer encoding unit 202, predictive encoding is performed.

【0036】上位レイヤビットストリームおよび下位レイヤビットストリームは多重化され、符号化データとして出力される。 The upper layer bitstream and the lower layer bitstream are multiplexed and output as coded data.

【0037】図45は、図44の下位レイヤ符号化部2 FIG. 45, the lower layer encoding unit 2 of FIG. 44
02の一例の構成を示している。 It shows an example of a structure of 02. なお、図中、図42における場合と対応する部分については、同一の符号を付してある。 In the figure, portions corresponding to those in FIG 42 are denoted by the same reference numerals. 即ち、下位レイヤ符号化部202は、アップサンプリング部211が新たに設けられている他は、図42のエンコーダと同様に構成されている。 That is, the lower layer encoding unit 202, in addition to up-sampling section 211 is newly provided, it is configured similarly to the encoder of FIG. 42.

【0038】アップサンプリング部211では、演算器40が出力する、局所復号された下位レイヤの画像がアップサンプリングされる(補間される)ことで、上位レイヤの画像サイズと同一の画像サイズに拡大され、上位レイヤ符号化部201に供給される。 [0038] In the up-sampling unit 211, arithmetic unit 40 outputs, when the image of the local decoded lower layer is up-sampled (interpolated), is enlarged to the image size and the same image size of the upper layer , it is supplied to the upper layer encoding unit 201.

【0039】図46は、図44の上位レイヤ符号化部2 [0039] Figure 46 is a high-level-layer encoding unit 2 of FIG. 44
01の一例の構成を示している。 It shows an example of a structure of 01. なお、図中、図42における場合と対応する部分については、同一の符号を付してある。 In the figure, portions corresponding to those in FIG 42 are denoted by the same reference numerals. 即ち、上位レイヤ符号化部201は、重み付加部221,222、および演算器223が新たに設けられている他は、基本的に図42のエンコーダと同様に構成されている。 That is, the upper layer encoding unit 201, in addition to the weight addition unit 221, and the arithmetic unit 223 is newly provided, is configured similarly to the encoder basically Figure 42.

【0040】重み付加部221は、動き補償器42が出力する予測画像に対して、重みWを乗算し、演算器22 The weight addition unit 221, the prediction image motion compensator 42 outputs, multiplied by the weight W, the calculator 22
3に出力する。 And outputs it to the 3. 演算器223には、重み付加部221の出力の他、重み付加部222の出力も供給されており、 The arithmetic unit 223, other output of the weighting addition unit 221, an output also supplied the weight adding portion 222,
重み付加部222は、下位レイヤ符号化部202から供給される拡大画像に対して、重み(1−W)を乗算し、 Weight adding portion 222, to the enlarged image supplied from the lower layer encoding section 202 multiplies the weight (1-W),
演算器223に供給する。 Supplied to the calculator 223.

【0041】演算器223は、重み付加回路221および222の出力を加算し、その加算結果を、予測画像として演算器33および40に出力する。 The calculator 223 adds the outputs of the weighting addition circuit 221 and 222, the addition result is output to the arithmetic unit 33 and 40 as predicted image.

【0042】以下、上位レイヤ符号化部201では、図42における場合と同様の処理が行われる。 [0042] Hereinafter, the upper layer encoding unit 201, processing similar to that in FIG 42 is performed.

【0043】従って、上位レイヤ符号化部201では、 [0043] Thus, the upper layer encoding unit 201,
上位レイヤの画像を参照画像とするだけでなく、下位レイヤ符号化部202からの拡大画像、即ち、下位レイヤの画像をも参照画像として、予測符号化が行われる。 In addition to the reference image an image of the upper layer, the enlarged image from the low-level-layer encoding unit 202, i.e., as a reference image is also an image of the lower layer, predictive coding is performed.

【0044】なお、重み付加部221において用いられる重みWは、あらかじめ設定されており(従って、重み付加部222において用いられる重み1−Wも、あらかじめ設定されている)、また、この重みWは、VLC器36に供給され、可変長符号化されるようになされている。 [0044] Incidentally, the weight W used in the weighting addition unit 221 is set in advance (and thus also the weight 1-W used in the weighting addition unit 222, is set in advance), also the weight W is is supplied to the VLC unit 36, it is adapted to be variable length coded.

【0045】次に、図47は、空間スケーラビリティを実現するデコーダの一例の構成を示している。 Next, FIG. 47 shows an example of a configuration of a decoder implementing spatial scalability.

【0046】図44のエンコーダから出力された符号化データは、上位レイヤビットストリームと下位レイヤビットストリームとに分離され、それぞれは、上位レイヤ復号化部231または下位レイヤ復号化部232に供給される。 The encoded data output from the encoder of FIG. 44 is separated into upper layer bit stream and a lower layer bit stream, each of which is supplied to the upper layer decoding unit 231 or the lower layer decoding unit 232 .

【0047】下位レイヤ復号化部232では、下位レイヤビットストリームが、図43における場合と同様にして復号化され、その結果得られる下位レイヤの復号画像が出力される。 [0047] In the lower layer decoding unit 232, a lower layer bitstream is decoded in the same manner as in FIG. 43, the decoded image of the lower layer obtained as a result is output. さらに、下位レイヤ復号化部232では、下位レイヤの復号画像が、上位レイヤの画像のサイズと同一サイズに拡大され、これにより、拡大画像が生成される。 Further, the lower layer decoding unit 232, the decoded image of the lower layer, is enlarged to the same size as the image of the upper layer, thereby, the enlarged image is generated. この拡大画像は、上位レイヤ復号化部231 The enlarged image is the upper layer decoding unit 231
に供給される。 It is supplied to.

【0048】上位レイヤ復号化部231でも、やはり、 [0048] Even the upper layer decoding section 231, also,
例えば、図43における場合と同様にして、上位レイヤビットストリームが復号化される。 For example, in the same manner as the case in FIG. 43, the upper layer bit stream is decoded. 但し、上位レイヤ復号化部231では、下位レイヤ復号化部232からの拡大画像をも参照画像として用いて、復号が行われる。 However, the upper layer decoding unit 231, by using as a reference image is also an enlarged image from the lower layer decoding unit 232, decoding is performed.

【0049】図48は、図47の下位レイヤ復号化部2 [0049] Figure 48 is a lower layer decoding portion 2 of FIG. 47
32の一例の構成を示している。 32 shows an example of the configuration of a. なお、図中、図43における場合と対応する部分については、同一の符号を付してある。 In the figure, portions corresponding to those in FIG 43 are denoted by the same reference numerals. 即ち、下位レイヤ復号化部232は、アップサンプリング部241が新たに設けられている他は、図43のデコーダと同様に構成されている。 That is, the lower layer decoding unit 232, in addition to up-sampling section 241 is newly provided, it is configured similarly to the decoder of FIG. 43.

【0050】アップサンプリング部241では、演算器105が出力する、復号された下位レイヤの画像がアップサンプリングされる(補間される)ことで、上位レイヤの画像サイズと同一の画像サイズに拡大され、上位レイヤ復号化部231に供給される。 [0050] In the up-sampling unit 241, arithmetic unit 105 outputs the image of the decoded lower layer that is up-sampled (interpolated), is enlarged to the image size and the same image size of the upper layer, It is supplied to the upper layer decoding unit 231.

【0051】図49は、図47の上位レイヤ復号化部2 [0051] Figure 49, the upper layer decoding unit 2 of FIG. 47
31の一例の構成を示している。 31 shows an example of the configuration of a. なお、図中、図43における場合と対応する部分については、同一の符号を付してある。 In the figure, portions corresponding to those in FIG 43 are denoted by the same reference numerals. 即ち、上位レイヤ復号化部231は、重み付加部251,252、および演算器253が新たに設けられている他は、基本的に図43のエンコーダと同様に構成されている。 That is, the upper layer decoding unit 231, in addition to the weight addition unit 251, and the arithmetic unit 253 is newly provided, is configured similarly to the encoder basically Figure 43.

【0052】IVLC器102は、図43で説明した処理の他、符号化データから重みWを抽出し、重み付加部251および252に出力する。 [0052] IVLC unit 102, other processing described in FIG. 43, it extracts a weight W from the encoded data, and outputs the weight adding portion 251 and 252. 重み付加部251は、 Weight addition unit 251,
動き補償器107が出力する予測画像に対して、重みW The prediction image motion compensator 107 outputs the weight W
を乗算し、演算器253に出力する。 Multiplies, and outputs to the calculator 253. 演算器253には、重み付加部251の出力の他、重み付加部252の出力も供給されており、重み付加部252は、下位レイヤ復号化部232から供給される拡大画像に対して、重み(1−W)を乗算し、演算器253に供給する。 The arithmetic unit 253, other output of the weighting addition unit 251, the output of the weight adding portion 252 is supplied, the weight adding portion 252, to the enlarged image supplied from the lower layer decoding unit 232, a weight (1-W) multiplied by, supplied to the arithmetic unit 253.

【0053】演算器253は、重み付加回路251および252の出力を加算し、その加算結果を、予測画像として演算器105に出力する。 [0053] computing unit 253 adds the outputs of the weighting addition circuit 251 and 252, the addition result is output to the arithmetic unit 105 as predicted image.

【0054】以上のように、上位レイヤ復号化部231 [0054] As described above, the upper layer decoding unit 231
では、上位レイヤの画像を参照画像とするだけでなく、 In not only the reference image an image of the upper layer,
下位レイヤ符号化部232からの拡大画像、即ち、下位レイヤの画像をも参照画像として、復号が行われる。 Enlarged image from the lower layer encoding unit 232, i.e., as a reference image is also an image of the lower layer, the decoding is performed.

【0055】なお、以上説明した処理は、輝度信号および色差信号の両方に対して施される。 [0055] Incidentally, the processing described above, is performed for both the luminance signal and color difference signals. 但し、色差信号の動きベクトルとしては、例えば、輝度信号の動きベクトルを1/2倍したものが用いられる。 However, as the motion vector of the color difference signals, for example, those half the motion vector of the luminance signal is used.

【0056】現在、上述のようなMPEG方式の他にも、様々な動画像の高能率符号化方式が標準化されている。 [0056] Currently, in addition to the MPEG system as described above, high-efficiency coding scheme of the various moving images have been standardized. 例えば、ITU−Tでは、主に通信用の符号化方式として、H. For example, the ITU-T, mainly as a coding method for communication, H. 261やH. 261 and H. 263という方式が規定されている。 System are defined as 263. このH. This H. 261やH. 261 and H. 263も、基本的にはM 263 also, basically M
PEG方式と同様に動き補償予測符号化とDCT変換符号化を組み合わせたものであり、ヘッダ情報などの詳細は異なるが、エンコーダやデコーダの基本的な構成は、 Is a combination of motion compensated predictive coding similarly to the PEG method and DCT transform coding, the details such as header information different but the basic configuration of an encoder and decoder,
MPEG方式の場合と同様となる。 Becomes the same as that in the case of the MPEG system.

【0057】 [0057]

【発明が解決しようとする課題】ところで、複数の画像を合成して1つの画像を構成する画像合成システムでは、例えばクロマキーという手法が用いられる。 [SUMMARY OF THE INVENTION Incidentally, in the image synthesizing system comprising a single image by synthesizing a plurality of images, for example, techniques that chroma key is used. これは、ある物体を青などの特定の一様な色の背景の前で撮影し、青以外の領域をそこから抽出し、別の画像に合成するもので、抽出した領域を示す信号はキー信号(ke This certain object photographed in front of a particular uniform color background such as blue, extracts from which an area other than blue, as it synthesizes the different image signals indicating the extracted area is key signal (ke
y信号)と呼ばれる。 It called the y signal).

【0058】図50は、従来の画像の合成方法を説明するための図である。 [0058] Figure 50 is a diagram for explaining a synthesis method of a conventional image. なお、ここでは、画像F1を背景と、画像F2を前景とする。 Here, it is the background image F1, the image F2 as the foreground. また、画像F2は、特定の色の背景の前で、物体(ここでは、人物)を撮影し、その色以外の領域を抽出することによって得られるものであり、キー信号K1は、その抽出した領域を示す信号である。 The image F2 is in front of a particular color of the background, the object (here, a person) photographed, which is obtained by extracting a region other than the color, the key signal K1 was the extracted a signal indicative of the region.

【0059】画像合成システムでは、背景である画像F [0059] In the image synthesis system, image F, which is the background
1と、前景である画像F2とが、キー信号K1にしたがって合成され、合成画像F3が生成される。 1, and the image F2 is foreground, synthesized according to the key signal K1, the composite image F3 is generated. この合成画像F3は、例えば、MPEG符号化などされて伝送される。 The composite image F3, for example, are transmitted by being like MPEG encoding.

【0060】ところで、以上のように合成画像F3を符号化して伝送した場合、伝送されるのは、合成画像F3 By the way, when encoded and transmitted the composite image F3 as described above, it is being transmitted, the synthesized image F3
についての符号化データだけであるから、キー信号K1 Since only the encoded data for the key signal K1
などについての情報は失われ、従って、受信側において、例えば、前景F2はそのままで、背景F1のみを変更するといったような画像の再編集、再合成は困難となる。 Information about such is lost, therefore, the receiving side, for example, the foreground F2 is intact, re-edit the image, such as changing only the background F1, resynthesis becomes difficult.

【0061】そこで、例えば、図51に示すように、画像F1,F2、およびキー信号K1をそれぞれ単独で符号化し、それぞれのビットストリームを多重化する方法が考えられる。 [0061] Therefore, for example, as shown in FIG. 51, the image F1, F2, and a key signal K1 encoded singly methods are considered for multiplexing respective bitstreams. この場合、受信側では、例えば、図52 In this case, on the reception side, for example, FIG. 52
に示すように、多重化されたデータを、逆多重化することで、画像F1,F2、またはキー信号K1のビットストリームを得て、それぞれのビットストリームを復号化する。 As shown in the multiplexed data, by demultiplexing, to obtain a bit stream of the image F1, F2 or the key signal K1,, decoding the respective bit streams. そして、それにより得られる画像F1,F2、またはキー信号K1の復号結果を用いて合成を行うことで、合成画像F3が生成される。 And thereby image F1, F2 obtained or by performing synthesis using the decryption result of the key signal K1,, composite image F3 is generated. この場合、受信側では、例えば、前景F2をそのままにして、背景F1だけを他の画像に変更するといった再編集および再合成が可能となる。 In this case, on the reception side, for example, to the foreground F2 intact, it is possible to re-edit and re-synthesis such change only background F1 to the other images.

【0062】ところで、合成画像F3は、画像F1とF [0062] By the way, the composite image F3, the image F1 and F
2とから構成されているが、これと同様に、いかなる画像も、複数の画像(物体)から構成されていると考えることができる。 Although and a 2 which, Similarly, any image may be considered as being constituted by a plurality of images (objects). いま、このように画像を構成する単位をVO(Video Object)と呼ぶものとすると、このようなVO単位で符号化を行う方式については、現在、ISO Now, assuming that called the unit thus configuring the image and VO (Video Object), the method of performing coding in such a VO units are currently, ISO
−IEC/JTC1/SC29/WG11において、M In -IEC / JTC1 / SC29 / WG11, M
PEG4として標準化作業が進められている。 Standardization work is being advanced as PEG4.

【0063】しかしながら、いまのところ、VOを効率良く符号化する方法や、キー信号を符号化する方法が確立しておらず、未解決な問題となっている。 [0063] However, at the moment, and how to efficiently encode the VO, a key signal not been established method of encoding, has become a unresolved problem.

【0064】また、MPEG4では、スケーラビリティ機能の提供について規定しているが、時間とともに位置と大きさが変化するVOを対象としたスケーラビリティを実現する具体的な手法も提案されていない。 [0064] In MPEG4, but defines the provided scalability features, not been proposed concrete method for realizing scalability intended for the VO to change the position and size over time.

【0065】即ち、例えば、遠方から向かってくる人物などをVOとした場合、そのVOの位置と大きさは、時間の経過とともに変化する。 [0065] That is, for example, if a such as a person coming towards the distant was VO, position and size of the VO varies with time. 従って、上位レイヤの画像の予測符号化に際し、下位レイヤの画像を参照画像として用いる場合には、その上位レイヤの画像と、参照画像として用いる下位レイヤの画像との相対的な位置関係を明確にする必要がある。 Therefore, when prediction coding of an image of the upper layer, when using the image of the lower layer as a reference image, an image of the upper layer, the relative positional relationship between the image of the lower layer is used as a reference picture clearly There is a need to.

【0066】また、VO単位のスケーラビリティを行う場合においては、下位レイヤのスキップマクロブロックの条件が、上位レイヤのスキップマクロブロックの条件に、そのまま当てはまるとは限らない。 [0066] In addition, in the case of performing the scalability of VO unit, the condition of the skip macro block of the lower layer, the conditions of the skip macro block of the upper layer, not necessarily as it is true.

【0067】本発明は、このような状況に鑑みてなされたものであり、VO単位の符号化を、容易に実現することができるようにするものである。 [0067] The present invention has been made in view of such circumstances, it is to be able to coding of VO units, be easily realized.

【0068】 [0068]

【課題を解決するための手段】請求項1に記載の画像符号化装置は、第1および第2の画像の解像度の違いに基づいて、第2の画像を拡大または縮小する拡大縮小手段と、拡大縮小手段の出力を参照画像として、第1の画像の予測符号化を行う第1画像符号化手段と、所定の絶対座標系における第1および第2の画像の位置を決定し、 The image coding apparatus according to claim 1 SUMMARY OF THE INVENTION includes scaling means based on the resolution difference between the first and second image, enlarging or reducing the second image, as a reference image the output of scaling means determines the first image coding means for performing predictive coding of the first image, the position of the first and second images in a predetermined absolute coordinate system,
その第1または第2の画像の位置それぞれに関する第1 First for each position of the first or second image
または第2の位置情報を出力する位置決定手段とを備え、第1画像符号化手段が、第1の位置情報に基づいて、第1の画像の位置を認識するとともに、拡大縮小手段が第2の画像を拡大または縮小したときの拡大率または縮小率に対応して、第2の位置情報を変換し、その変換結果に対応する位置を、参照画像の位置として認識し、予測符号化を行うことを特徴とする。 Or a position determining means for outputting a second position information, the first image encoding means, based on the first position information, recognizes the position of the first image, scaling means second image corresponding to the enlargement ratio or reduction ratio when enlarged or reduced, and converts the second position information, the position corresponding to the conversion result, confirmed as the position of the reference image, performs predictive coding it is characterized in.

【0069】請求項2に記載の画像符号化方法は、画像符号化装置が、第1および第2の画像の解像度の違いに基づいて、第2の画像を拡大または縮小する拡大縮小手段と、拡大縮小手段の出力を参照画像として、第1の画像の予測符号化を行う第1画像符号化手段と、所定の絶対座標系における第1および第2の画像の位置を決定し、その第1または第2の画像の位置それぞれに関する第1または第2の位置情報を出力する位置決定手段とを備え、第1画像符号化手段に、第1の位置情報に基づいて、第1の画像の位置を認識させるとともに、拡大縮小手段が第2の画像を拡大または縮小したときの拡大率または縮小率に対応して、第2の位置情報を変換させ、その変換結果に対応する位置を、参照画像の位置として認識させ、予測符号化 [0069] Image coding method as claimed in claim 2, the image coding apparatus, a scaling means based on the resolution difference between the first and second image, enlarging or reducing the second image, as a reference image the output of scaling means, a first image encoding means for performing predictive coding of the first image to determine the position of the first and second images in a predetermined absolute coordinate system, the first or a position determining means for outputting a first or second position information for each position of the second image, the first image encoding means, based on the first position information, the position of the first image together to recognize, in response to magnification or reduction rate when the scaling means has enlarged or reduced second image, to convert the second position information, the position corresponding to the conversion result, the reference image It is recognized as the position, predictive coding 行わせることを特徴とする。 Characterized in that it causes.

【0070】請求項3に記載の画像復号化装置は、第1 [0070] The image decoding apparatus according to claim 3, the first
および第2の画像の解像度の違いに基づいて、第2画像復号化手段により復号化された第2の画像を拡大または縮小する拡大縮小手段と、拡大縮小手段の出力を参照画像として、第1の画像を復号化する第1画像復号化手段とを備え、符号化データが、所定の絶対座標系における第1または第2の画像の位置それぞれ関する第1または第2の位置情報を含んでおり、第1画像復号化手段が、 And based on the resolution difference in the second image, and scaling means for second image to enlarge or reduce the decoded by the second picture decoding unit, as a reference picture output of scaling means, first a first image decoding means for decoding the image, the encoded data includes a first or a first or second position information regarding each position of the second image in a predetermined absolute coordinate system , the first image decoding unit,
第1の位置情報に基づいて、第1の画像の位置を認識するとともに、拡大縮小手段が第2の画像を拡大または縮小したときの拡大率または縮小率に対応して、第2の位置情報を変換し、その変換結果に対応する位置を、参照画像の位置として認識し、第1の画像の復号化を行うことを特徴とする。 Based on the first position information, it recognizes the position of the first image, corresponding to the enlargement ratio or reduction ratio when scaling means has enlarged or reduced second image, the second position information converts, the conversion results in corresponding positions, recognized as the position of the reference image, and performing decoding of the first image.

【0071】 請求項4に記載の画像復号化方法は、画像復号化装置が、第1および第2の画像の解像度の違いに基づいて、第2画像復号化手段により復号化された第2 [0071] wherein the image decoding method according to claim 4, the image decoding apparatus, on the basis of the resolution difference between the first and second image, the second decoded by the second picture decoding means
の画像を拡大または縮小する拡大縮小手段と、拡大縮小手段の出力を参照画像として、第1の画像を復号化する第1画像復号化手段とを備え、符号化データが、所定の絶対座標系における第1または第2の画像の位置それぞれ関する第1または第2の位置情報を含んでいる場合、 And scaling means for enlarging the image or reduced, as a reference image the output of scaling means, a first image decoding means for decoding the first image coded data is a predetermined absolute coordinate system If in includes first or second position information regarding each position of the first or second image,
第1画像復号化手段に、第1の位置情報に基づいて、第1の画像の位置を認識させるとともに、拡大縮小手段が第2の画像を拡大または縮小したときの拡大率または縮小率に対応して、第2の位置情報を変換させ、その変換結果に対応する位置を、参照画像の位置として認識させ、第1の画像の復号化を行わせることを特徴とする。 The first image decoding unit, based on the first position information, together to recognize the position of the first image, corresponding to the enlargement ratio or reduction ratio when scaling means has enlarged or reduced second image and, to convert the second position information, and the result of the conversion to the corresponding position, is recognized as the position of the reference image, characterized in that to perform the decoding of the first image.

【0072】 [0072]

【0073】 [0073]

【0074】 [0074]

【0075】 [0075]

【0076】 [0076]

【0077】 [0077]

【0078】 [0078]

【0079】 [0079]

【0080】請求項1に記載の画像符号化装置および請求項2に記載の画像符号化方法においては、拡大縮小手段が、第1および第2の画像の解像度の違いに基づいて、第2の画像を拡大または縮小し、第1画像符号化手段が、拡大縮小手段の出力を参照画像として、第1の画像の予測符号化を行うようになされている。 [0080] In the image encoding method according to the image coding apparatus and claim 2 according to claim 1, scaling means, based on the resolution difference between the first and second images, the second enlarged or reduced image, the first image encoding means, as a reference image the output of scaling means are adapted to perform a prediction encoding of the first image. 位置決定手段は、所定の絶対座標系における第1および第2の画像の位置を決定し、その第1または第2の画像の位置それぞれに関する第1または第2の位置情報を出力するようになされている。 Position determining means determines the position of the first and second images in a predetermined absolute coordinate system, adapted to output the first or second position information for each position of the first or second image ing. この場合において、第1画像符号化手段では、第1の位置情報に基づいて、第1の画像の位置が認識されるとともに、拡大縮小手段が第2の画像を拡大または縮小したときの拡大率または縮小率に対応して、第2の位置情報が変換され、その変換結果に対応する位置が、参照画像の位置として認識され、予測符号化が行われるようになされている。 In this case, the first image encoding means, based on the first position information, magnification when together with the position of the first image is recognized, scaling means has enlarged or reduced second image or in response to a reduction ratio, is converted second location information, the result of the conversion to the corresponding position, is recognized as the position of the reference image, it is made as predictive coding is performed.

【0081】請求項3に記載の画像復号化装置および [0081] The image decoding apparatus according to claim 3 and
求項4に記載の画像復号化方法においては、拡大縮小手段は、第1および第2の画像の解像度の違いに基づいて、第2画像復号化手段により復号化された第2の画像を拡大または縮小し、第1画像復号化手段は、拡大縮小手段の出力を参照画像として、第1の画像を復号化するようになされている。 In the image decoding method according to Motomeko 4, scaling means, expanded on the basis of the resolution difference between the first and second images, the second image decoded by the second picture decoding means or reduced, first image decoding means, as a reference image the output of scaling means is adapted to decode the first image. そして、符号化データが、所定の絶対座標系における第1または第2の画像の位置それぞれ関する第1または第2の位置情報を含んでいる場合、 When the encoded data includes first or second position information regarding each of the first or the position of the second image in a predetermined absolute coordinate system,
第1画像復号化手段では、第1の位置情報に基づいて、 In the first picture decoding unit, based on the first position information,
第1の画像の位置が認識されるとともに、拡大縮小手段が第2の画像を拡大または縮小したときの拡大率または縮小率に対応して、第2の位置情報が変換され、その変換結果に対応する位置が、参照画像の位置として認識され、第1の画像の復号化が行われるようになされている。 Together with the position of the first image is recognized, corresponding to the enlargement ratio or reduction ratio when scaling means has enlarged or reduced second image, the second position information is converted, the conversion result corresponding positions, it is recognized as the position of the reference picture, decoding of the first image is adapted to be performed.

【0082】 [0082]

【0083】 [0083]

【0084】 [0084]

【0085】 [0085]

【0086】 [0086]

【発明の実施の形態】図1は、本発明を適用したエンコーダの一実施の形態を示している。 Figure 1 DETAILED DESCRIPTION OF THE INVENTION shows an embodiment of the applied encoder of the present invention.

【0087】符号化すべき画像データは、VO構成部1 [0087] Image data to be encoded, VO constructing unit 1
に入力され、VO構成部1では、そこに入力される画像を構成する物体を抽出し、VOを構成する。 Is inputted to, the VO constructing unit 1, extracts the objects constituting the image inputted thereto, constituting a VO. さらに、V In addition, V
O構成部1は、各VOについてのキー信号を生成し、対応するVOとともに、VOP構成部21乃至2Nそれぞれに出力する。 O configuration unit 1 generates a key signal for each VO, with the corresponding VO, and outputs each VOP constructing unit 21 to 2N. 即ち、VO構成部1においてN個のVO1 Ie, N pieces of VO1 at VO constructing unit 1
乃至VO#Nが構成された場合、そのN個のVO1乃至VO#Nは、対応するキー信号とともに、VOP構成部21乃至2Nそれぞれに出力される。 Or if the VO # N are configured, the N number of VO1 to VO # N, together with corresponding key signals are outputted to the respective VOP constructing unit 21 to 2N.

【0088】具体的には、例えば、符号化すべき画像データが、前述の図51で示したように、背景F1、前景F2、およびキー信号K1を含んでおり、これらから、 [0088] Specifically, for example, image data to be encoded, as shown in FIG. 51 described above, includes a background F1, the foreground F2, and the key signal K1, these,
クロマキーにより合成画像を生成することができるものである場合、VO構成部1は、例えば、前景F2を、V If is capable of generating a synthesized image by chroma key, VO constructing unit 1, for example, the foreground F2, V
O1とし、キー信号K1を、そのVO1のキー信号として、VOP構成部21に出力する。 And O1, the key signal K1, as a key signal of the VO1, and outputs the VOP constructing unit 21. さらに、VO構成部1は、背景F1を、VO2として、VOP構成部22に出力する。 Further, VO constructing unit 1, the background F1, as VO2, and it outputs the VOP constructing unit 22. なお、背景についてはキー信号は不要なため、出力されない(生成されない)。 Since the background key signal is not necessary, not output (not generated).

【0089】また、VO構成部1は、符号化すべき画像データが、キー信号を含んでいない、例えば、既に合成された画像である場合、所定のアルゴリズムにしたがって、画像を領域分割することにより、1以上の領域を抽出し、さらに、その各領域に対応するキー信号を生成する。 [0089] Further, VO constructing unit 1, image data to be encoded, contains no key signal, for example, if it is already synthesized image in accordance with a predetermined algorithm, by segmenting the image, extracting one or more regions, further, to generate a key signal corresponding to the respective regions. そして、VO構成部1は、抽出した領域のシーケンスをVOとし、生成したキー信号とともに、対応するV Then, VO constructing unit 1, the sequence of the extracted area as the VO, with the generated key signal, the corresponding V
OP構成部2n(但し、n=1,2,・・・,N)に出力する。 OP component 2n (where, n = 1,2, ···, N) is output to.

【0090】VOP構成部2nは、VO構成部1の出力から、VOP(VO Plane)を構成する。 [0090] VOP constructing unit 2n, from the output of the VO constructing unit 1, constitutes a VOP (VO Plane). 即ち、各フレームから物体を抽出し、その物体を囲む、例えば、最小の長方形をVOPとする。 That is, to extract an object from each frame, surrounding the object, for example, the VOP the smallest rectangle. なお、このとき、VOP構成部2nは、その横および縦の画素数が、例えば、16の倍数となるようにVOPを構成する。 At this time, VOP constructing unit 2n is the number of pixels that the horizontal and vertical are, for example, constituting the VOP to be a multiple of 16. VO構成部2nは、 VO constructing unit 2n is,
VOPを構成すると、そのVOPに含まれる物体の部分の画像データ(例えば、輝度信号および色差信号など) When constituting the VOP, the image data of the portion of the object contained in the VOP (e.g., luminance signal and color difference signals, etc.)
を抜くためのキー信号(このキー信号は、上述したように、VO構成部1から供給される)とともに、VOP符号化部3nに出力する。 Key signal for removing the (key signal, as described above, is supplied from the VO constructing unit 1) with outputs to VOP encoding unit 3n.

【0091】さらに、VOP構成部2nは、VOPの大きさ(例えば、横および縦の長さ)を表すサイズデータ(VOP size)と、フレームにおける、そのVOPの位置(例えば、フレームの最も左上を原点とするときの座標)を表すオフセットデータ(VOP offset)とを検出し、これらのデータも、VOP符号化部3nに供給する。 [0091] Furthermore, VOP constructing unit 2n, the size of a VOP (e.g., horizontal and vertical length) size data representative of the (VOP size), in the frame, the position of the VOP (e.g., the uppermost left of the frame detecting the offset data (VOP offset) indicating the coordinates) at which the origin, even these data, and supplies the VOP encoding unit 3n.

【0092】VOP符号化部3nは、VOP構成部2nの出力を、例えば、MPEGや、H. [0092] VOP coding section 3n is the output of the VOP constructing unit 2n, for example, MPEG, H. 263などの規格に準拠した方式で符号化し、その結果得られるビットストリームを、多重化部4に出力する。 Encoded in a manner conforming to standards such as 263, a bit stream obtained as a result, outputs to the multiplexer 4. 多重化部4は、VO Multiplexer 4, VO
P符号化部31乃至3Nからのビットストリームを多重化し、その結果得られる多重化データを、例えば、地上波や、衛星回線、CATV網その他の伝送路5を介して伝送し、または、例えば、磁気ディスク、光磁気ディスク、光ディスク、磁気テープその他の記録媒体6に記録する。 The bit stream from the P coder 31 to 3N multiplexes such that the multiplexed data obtained, for example, transmitted through, terrestrial, satellite line, or other transmission line 5 of the CATV network, or, for example, a magnetic disk, a magneto-optical disk, an optical disk, is recorded on a magnetic tape or other recording medium 6.

【0093】ここで、VOおよびVOPについて説明する。 [0093] Here, a description will be given VO and VOP.

【0094】VOは、ある合成画像のシーケンスが存在する場合の、その合成画像を構成する各物体のシーケンスであり、VOPは、ある時刻におけるVOを意味する。 [0094] VO is when the sequence of a synthetic image exists, a sequence of respective objects constituting the composite image, VOP means a VO at a certain time. 即ち、例えば、いま、画像F1およびF2を合成して構成される合成画像F3がある場合、画像F1またはF2が時系列に並んだものが、それぞれVOであり、ある時刻における画像F1またはF2が、それぞれVOP That is, for example, now, if you combine images F1 and F2 is composed of the composite image F3, which image F1 or F2 is arranged in time series, a VO, respectively, the image F1 or F2 at a certain time , each VOP
である。 It is. 従って、VOは、異なる時刻の、同一物体のV Thus, VO is the different times, V of the same object
OPの集合ということができる。 It can be said that the set of the OP.

【0095】なお、例えば、画像F1を背景とするとともに、画像F2を前景とすると、合成画像F3は、画像F2を抜くためのキー信号を用いて、画像F1およびF [0095] Incidentally, for example, an image F1 with the background, when the image F2 and the foreground, synthesized image F3 uses the key signal to pull out the image F2, the image F1 and F
2を合成することによって得られるが、この場合における画像F2のVOPには、その画像F2を構成する画像データ(輝度信号および色差信号)の他、適宜、そのキー信号も含まれるものとする。 Obtained by synthesizing 2, but this is VOP image F2 in the case, other image data constituting the image F2 (luminance signal and color difference signals), as appropriate, are also intended to be included the key signal.

【0096】画像フレーム(画枠)のシーケンスは、その大きさおよび位置のいずれも変化しないが、VOは、 [0096] The sequence of image frames (image frame), but does not change any of its size and location, VO is
大きさや位置が変化する場合がある。 In some cases the size and position changes. 即ち、同一のVO In other words, the same VO
を構成するVOPであっても、時刻によって、その大きさや位置が異なる場合がある。 Even VOP constituting a by time, there are cases where the size or position is different.

【0097】具体的には、図2は、背景である画像F1 [0097] Specifically, FIG. 2 is a background image F1
と、前景である画像F2とからなる合成画像を示している。 If shows a composite image consisting of the image F2 Metropolitan is foreground.

【0098】画像F1は、例えば、ある自然の風景を撮影したものであり、その画像全体のシーケンスが1つのVO(VO0とする)とされている。 [0098] image F1, for example, is obtained by photographing a natural scenery that is the entire image sequence is (a VO0) 1 single VO. また、画像F2 In addition, the image F2
は、例えば、人が歩いている様子を撮影したものであり、その人を囲む最小の長方形のシーケンスが1つのV Is, for example, is obtained by taking a picture of a human is walking, one is smallest rectangle of the sequence surrounding the human V
O(VO1とする)とされている。 O there is a (and VO1).

【0099】この場合、VO0は風景の画像であるから、基本的に、通常の画像のフレームと同様に、その位置および大きさの両方とも変化しない。 [0099] In this case, VO0 is because an image of a scene, basically similar to the normal image frame does not vary both the location and size. これに対して、 On the contrary,
VO1は人の画像であるから、人物が左右に移動したり、また、図面において手前側または奥側に移動することにより、その大きさや位置が変化する。 VO1 is because an image of a person, moving person right and left, also, by moving to the front side or back side in the drawings, the size and position changes. 従って、図2 Thus, Figure 2
は、同一時刻におけるVO0およびVO1を表しているが、両者の位置や大きさが同一とは限らない。 Is represents a VO0 and VO1 at the same time, is not necessarily the same position and size of both.

【0100】そこで、図1のVOP符号化部3nは、その出力するビットストリームに、VOPを符号化したデータの他、所定の絶対座標系におけるVOPの位置(座標)および大きさに関する情報も含めるようになされている。 [0100] Therefore, VOP coding section 3n of Figure 1, the bitstream output, other data obtained by encoding VOP, also included information about the position (coordinates) and size of the VOP in a predetermined absolute coordinate system It has been made so. なお、図2においては、ある時刻におけるVO0 In FIG. 2, VO0 at a certain time
(VOP)の位置を示すベクトルをOST0と、同一時刻におけるVO1(VOP)の位置を表すベクトルをO And OST0 a vector indicating the position of the (VOP), the vector representing the position of VO1 (VOP) at the same time O
ST1と、それぞれ表してある。 And ST1, are represented, respectively.

【0101】次に、図3は、図1のVOP符号化部3n Next, FIG. 3, in FIG. 1 VOP encoding unit 3n
の基本的な構成例を示している。 It shows an example basic configuration of.

【0102】VOP構成部2nからの画像信号(画像データ)(VOPを構成する輝度信号および色差信号) [0102] Image signals (image data) from the VOP constructing unit 2n (luminance signal and color difference signals constituting the VOP)
は、画像信号符号化部11に入力される。 Is input to the image signal encoding unit 11. 画像信号符号化部11は、基本的には、前述した図42のエンコーダと同様に構成され、そこでは、VOPが、例えば、MP Picture signal encoding unit 11 is basically the same configuration as the encoder of FIG. 42 described above, where, VOP, for example, MP
EGやH. EG and H. 263などの規格に準拠した方式で符号化される。 263 is encoded in a manner that conforms to standards such as. 画像信号符号化部11でVOPが符号化されることにより得られる、その動きおよびテクスチャの情報は、多重化部13に供給される。 VOP in the picture signal encoding unit 11 is obtained by being encoded, information of the motion and texture is supplied to the multiplexer 13.

【0103】また、VOP構成部2nからのキー信号は、キー信号符号化部12に入力され、そこで、例えば、DPCM(Differential Pulse Code Modulation) [0103] Further, the key signal from the VOP constructing unit 2n is input to the key signal encoding unit 12, where, for example, DPCM (Differential Pulse Code Modulation)
などにされることにより符号化される。 It is encoded by being in like. キー信号符号化部12における符号化の結果得られるキー信号情報は、 Key signal information obtained as a result of the coding in the key signal encoding unit 12,
やはり多重化部13に供給される。 Again supplied to the multiplexer 13.

【0104】多重化部13には、画像信号符号化部11 [0104] The multiplexing unit 13, the image signal encoding unit 11
およびキー信号符号化部12の出力の他、VOP構成部2nからのサイズデータ(VOP size)およびオフセットデータ(VOP offset)も供給されており、多重化部13 And other output of the key signal encoding unit 12, the size data from the VOP constructing unit 2n (VOP size) and offset data (VOP offset) are also supplied, multiplexer 13
は、これらを多重化して、バッファ14に出力する。 Are, you are multiplexed, and outputs it to the buffer 14. バッファ14は、多重化部13の出力を一時記憶し、そのデータ量を平滑化して出力する。 Buffer 14 temporarily stores the output of multiplexer 13, and outputs the data amount is smoothed.

【0105】なお、キー信号符号化部12においては、 [0105] Incidentally, in the key signal encoding unit 12,
DPCMの他、例えば、画像信号符号化部11において予測符号化が行われることにより検出された動きベクトルにしたがって、キー信号を動き補償し、その時間的に前または後のVOPにおけるキー信号との差分を演算することで、キー信号を符号化するようにすることなども可能である。 Other DPCM, for example, according to the motion vector detected by the predictive coding in the image signal encoding unit 11 is performed, a key signal to the motion compensation, the key signal at the temporally before or after the VOP by calculating the difference, it is possible such as by a key signal to be encoded.

【0106】また、キー信号符号化部12におけるキー信号の符号化結果のデータ量(バッファフィードバック)は、画像信号符号化部11に供給するようにすることが可能である。 [0106] The data amount of the encoded result of the key signal in the key signal encoding unit 12 (buffer feedback) can be made to supply the picture signal encoding unit 11. この場合、画像信号符号化部11では、キー信号符号化部12からのデータ量をも考慮して、量子化ステップが決定される。 In this case, the image signal encoding unit 11, in consideration of the amount of data from the key signal encoding unit 12, the quantization step is determined.

【0107】次に、図4は、スケーラビリティを実現する、図1のVOP符号化部3nの構成例を示している。 [0107] Next, FIG. 4, scalability, shows a configuration example of VOP encoding unit 3n of Figure 1.

【0108】VOP構成部2nからのVOP(画像データ)、並びにそのキー信号、サイズデータ(VOP siz [0108] VOP (image data) from the VOP constructing unit 2n, and the key signal, size data (VOP siz
e)、およびオフセットデータ(VOP offset)は、いずれも画像階層化部21に供給される。 e), and offset data (VOP offset) are all supplied to an image layering section 21.

【0109】画像階層化部21は、VOPから、複数の階層の画像データを生成する(VOPの階層化を行う)。 [0109] The image layering section 21, the VOP, (performs layering VOP) basis to generate image data of a plurality of hierarchies. 即ち、例えば、空間スケーラビリティの符号化を行う場合においては、画像階層化部21は、そこに入力される画像データおよびキー信号を、そのまま上位レイヤ(上位階層)の画像データおよびキー信号として出力するとともに、それらの画像データおよびキー信号を構成する画素数を間引くことなどにより縮小し(解像度を低下させ)、これを下位レイヤ(下位階層)の画像データおよびキー信号として出力する。 Thus, for example, in the case of performing encoding of spatial scalability, the image layering section 21, the image data and the key signals are inputted thereto, and outputs it as image data and the key signals of the upper layer (upper layer) with, (reduced resolution) reduced such as by thinning out the number of pixels constituting these image data and the key signal, and outputs it as image data and the key signals of the lower layer (lower layer).

【0110】なお、入力されたVOPを下位レイヤのデータとするとともに、そのVOPの解像度を、何らかの手法で高くし(画素数を多くし)、これを、上位レイヤのデータとすることなども可能である。 [0110] Incidentally, while the input VOP as lower layer data, the resolution of the VOP, (and the number of pixels) raised by some method, which also enables such that the data of the upper layer it is.

【0111】また、階層数は、3以上とすることも可能であるが、ここでは、簡単のために、2階層の場合について説明を行う。 [0111] Further, the number of layers, it is also possible to three or more, here, for simplicity, a description is given of the case of two layers.

【0112】画像階層化部21は、例えば、時間スケーラビリティ(テンポラルスケーラビリティ)の符号化を行う場合、時刻に応じて、画像データおよびキー信号を、下位レイヤまたは上位レイヤのデータとして、例えば、交互に出力する。 [0112] The image layering section 21, for example, when performing time coding scalability (temporal scalability), depending on the time, the image data and the key signals, as data of the lower layer or the upper layer, for example, alternately Output. 即ち、例えば、画像階層化部21 That is, for example, the image layering section 21
は、そこに、あるVOを構成するVOPが、VOP0, It is, there, is a VOP constituting a certain VO, VOP0,
VOP1,VOP2,VOP3,・・・の順で入力されたとした場合、VOP0,VOP2,VOP4,VOP VOP1, VOP2, VOP3, if you were to have been entered in the order of ···, VOP0, VOP2, VOP4, VOP
6,・・・を、下位レイヤのデータとして、また、VO 6, the..., As the data of the lower layer, also, VO
P1,VOP3,VOP5,VOP7,・・・を、上位レイヤデータとして出力する。 P1, VOP3, VOP5, VOP7, the ..., and output as an upper layer data. なお、時間スケーラビリティの場合は、このようにVOPが間引かれたものが、 In the case of temporal scalability, it is thus what VOP is thinned,
下位レイヤおよび上位レイヤのデータとされるだけで、 Only it is a lower layer and the upper layer data,
画像データの拡大または縮小(解像度の変換)は行われない(但し、行うようにすることも可能である)。 Enlargement or reduction of image data (resolution conversion) is not performed (although it is also possible to perform).

【0113】また、画像階層化部21は、例えば、SN [0113] Furthermore, the image layering section 21, for example, SN
R(Signal to Noise Ratio)スケーラビリティの符号化を行う場合、入力された画像データおよびキー信号を、そのまま上位レイヤまたは下位レイヤのデータそれぞれとして出力する。 When performing R (Signal to Noise Ratio) coding scalability, the input image data and the key signal, and outputs it as each data as the upper layer or lower layer. 即ち、この場合、下位レイヤ並びに上位レイヤの画像データおよびキー信号は、同一のデータとなる。 That is, the image data and the key signal in this case, the lower layer and the upper layer is the same data.

【0114】ここで、VOPごとに符号化を行う場合の空間スケーラビリティについては、例えば、次のような3種類が考えられる。 [0114] Here, for the spatial scalability in the case of performing encoding for each VOP, for example, are conceivable three as follows.

【0115】即ち、例えば、いま、VOPとして、図2 [0115] That is, for example, now, as VOP, Figure 2
に示したような画像F1およびF2でなる合成画像が入力されたとすると、第1の空間スケーラビリティは、図5に示すように、入力されたVOP全体(図5(A)) When the composite image consisting of images F1 and F2 as shown have been inputted into the first spatial scalability, as shown in FIG. 5, while an entire input VOP (Figure 5 (A))
を上位レイヤ(EnhancementLayer)とするとともに、そのVOP全体を縮小したもの(図5(B))を下位レイヤ(Base Layer)とするものである。 Together with the upper layer (EnhancementLayer), it is to that reduced the entire VOP to (FIG. 5 (B)) and lower layer (Base Layer).

【0116】また、第2の空間スケーラビリティは、図6に示すように、入力されたVOPを構成する一部の物体(図6(A)(ここでは、画像F2に相当する部分)))を抜き出して(なお、このような抜き出しは、 [0116] The second spatial scalability, as shown in FIG. 6, a portion of the objects constituting an input VOP (Figure 6 (A) (here, the part corresponding to the image F2))) extracted with (Note that such withdrawal is
例えば、VOP構成部2nにおける場合と同様にして行われ、従って、これにより抜き出された物体も、1つのVOPと考えることができる)、上位レイヤとするとともに、そのVOP全体を縮小したもの(図6(B))を下位レイヤとするものである。 For example, take place in the same manner as in the VOP constructing unit 2n, therefore, this also objects withdrawn, it can be considered as one VOP), with an upper layer, obtained by reducing the entire VOP ( FIG 6 (B)) in which the lower layer.

【0117】さらに、第3の空間スケーラビリティは、 [0117] In addition, the third space scalability,
図7および図8に示すように、入力されたVOPを構成する物体(VOP)を抜き出して、その物体ごとに、上位レイヤおよび下位レイヤを生成するものである。 As shown in FIGS. 7 and 8, by extracting the object (VOP) constituting an input VOP, for each the object, and generates a high-level and low-level layers. なお、図7は、図2のVOPを構成する背景(画像F1) Incidentally, FIG. 7, the background which constitutes the VOP in FIG. 2 (image F1)
から上位レイヤおよび下位レイヤを生成した場合を示しており、また、図8は、図2のVOPを構成する前景(画像F2)から上位レイヤおよび下位レイヤを生成した場合を示している。 Shows the case of generating a high-level and low-level layers from FIG. 8 shows a case of generating a high-level and low-level layers from the foreground (image F2) constituting the VOP of Fig.

【0118】以上のようなスケーラビリティのうちのいずれを用いるかは予め決められており、画像階層化部2 [0118] use of either of scalability as described above is predetermined, the image layering section 2
1は、その予め決められたスケーラビリティによる符号化を行うことができるように、VOPの階層化を行う。 1, as can be encoded by the predetermined scalability, performs layering of VOP.

【0119】さらに、画像階層化部21は、そこに入力されるVOPのサイズデータおよびオフセットデータ(それぞれを、以下、適宜、初期サイズデータ、初期オフセットデータという)から、生成した下位レイヤおよび上位レイヤのVOPの所定の絶対座標系における位置を表すオフセットデータと、その大きさを示すサイズデータとを計算(決定)する。 [0119] Furthermore, the image layering section 21, VOP size data and offset data (each, hereinafter referred to as initial size data, that the initial offset data) inputted thereto from the generated lower layer and upper layer and offset data representing the position in a predetermined absolute coordinate system of the VOP of calculating (determining) the size data indicating the size.

【0120】ここで、下位レイヤ並びに上位レイヤのV [0120] In this case, the lower layer and the upper layer V
OPのオフセットデータ(位置情報)およびサイズデータの決定方法について、例えば、上述の第2のスケーラビリティ(図6)を行う場合を例に説明する。 Method for determining the OP offset data (position information) and size data of, for example, the case of performing a second scalability described above (FIG. 6) as an example.

【0121】この場合、下位レイヤのオフセットデータFPOS_Bは、例えば、図9(A)に示すように、下位レイヤの画像データを、その解像度および上位レイヤの解像度の違いに基づいて拡大(補間)したときに、即ち、下位レイヤの画像を、上位レイヤの画像の大きさと一致するような拡大率(上位レイヤの画像を縮小して下位レイヤの画像を生成したときの、その縮小率の逆数) [0121] In this case, the offset data FPOS_B of the lower layer, for example, as shown in FIG. 9 (A), the image data of the lower layer, and enlarged (interpolated) based on the difference in resolution and upper layer resolution when, that is, the image of the lower layer, the size and matching such magnification of the image of the upper layer (when generating the image of the lower layer by reducing the image of the upper layer, the inverse of the reduction ratio)
(以下、適宜、倍率FRという)で拡大したときに、その拡大画像の絶対座標系におけるオフセットデータが、 (Hereinafter referred to as magnification FR) when expanded, the offset data in the absolute coordinate system of the enlarged image,
初期オフセットデータと一致するように決定される。 It is determined so as to coincide with the initial offset data. また、下位レイヤのサイズデータFSZ_Bも同様に、下位レイヤの画像を倍率FRで拡大したときに得られる拡大画像のサイズデータが初期サイズデータと一致するように決定される。 Similarly, size data FSZ_B in the lower layer, size data of the enlarged image obtained when an enlarged image of the lower layer at a magnification FR is determined to match the initial size data.

【0122】一方、上位レイヤのオフセットデータFP [0122] On the other hand, the upper layer offset data FP
OS_Eは、例えば、図9(B)に示すように、入力されたVOPから抜き出した物体を囲む16倍最小長方形(VOP)の、例えば、左上の頂点の座標が、初期オフセットデータに基づいて求められ、この値に決定される。 OS_E, for example, as shown in FIG. 9 (B), 16 times the minimum rectangle surrounding an object extracted from the input VOP (VOP), for example, the upper left vertex coordinates, determined based on the initial offset data It is, are determined to this value. また、上位レイヤのサイズデータFPOS_Eは、 Also, the size data FPOS_E of the upper layer,
入力されたVOPから抜き出した物体を囲む16倍最小長方形の、例えば横および縦の長さに決定される。 Of the inputted minimum 16-fold to surround the extracted object from the VOP rectangle is determined, for example, horizontal and vertical length.

【0123】従って、この場合、下位レイヤのオフセットデータFPOS_BおよびサイズデータFPOS_B [0123] Therefore, in this case, the offset data FPOS_B and size data FPOS_B of the lower layer
を、倍率FRにしたがって変換し(変換後のオフセットデータFPOS_BまたはサイズデータFPOS_B The offset data after conversion (conversion in accordance magnification FR FPOS_B or size data FPOS_B
を、それぞれ、変換オフセットデータFPOS_Bまたは変換サイズデータFPOS_Bという)、絶対座標系において、変換オフセットデータFPOS_Bに対応する位置に、変換サイズデータFSZ_Bに対応する大きさの画枠を考え、そこに、下位レイヤの画像データをF And each of converted offset data FPOS_B or transform size data FPOS_B), the absolute coordinate system, a position corresponding to the converted offset data FPOS_B, consider the image frame of the size corresponding to the converted size data FSZ_B, there, the lower the image data of the layer F
R倍だけした拡大画像を配置するとともに(図9 With arranging the enlarged image by R times (Fig. 9
(A))、その絶対座標系において、上位レイヤのオフセットデータFPOS_EおよびサイズデータFPOS (A)), in the absolute coordinate system, the offset data of the upper layer FPOS_E and size data FPOS
_Eにしたがって、上位レイヤの画像を同様に配置すると(図9(B))、拡大画像を構成する各画素と、上位レイヤの画像を構成する各画素とは、対応するものどうしが同一の位置に配置されることになる。 According _E, when the image of the upper layer is arranged in the same manner (FIG. 9 (B)), the pixels constituting the enlarged image and the pixels constituting the image of the upper layer, the same position each other corresponding ones It would be located in. 即ち、この場合、例えば、図9において、上位レイヤの画像である人の部分と、拡大画像の中の人の部分とは、同一の位置に配置されることになる。 That is, in this case, for example, in FIG. 9, the human portion is an image of the upper layer, the human part in the enlarged image will be arranged at the same position.

【0124】第1および第3のスケーラビリティにおける場合も、同様にして、下位レイヤの拡大画像および上位レイヤの画像を構成する、対応する画素どうしが、絶対座標系において同一の位置に配置されるように、オフセットデータFPOS_BおよびFPOS_E、並びにサイズデータFSZ_BおよびFSZ_Eが決定される。 [0124] Also when in the first and third scalability, similarly, to construct an image of the enlarged image and the upper layer of the lower layer, the corresponding pixel each other is to be placed in the same position in the absolute coordinate system , the offset data FPOS_B and FPOS_E, and size data FSZ_B and FSZ_E are determined.

【0125】また、オフセットデータFPOS_BおよびFPOS_E、並びにサイズデータFSZ_BおよびFSZ_Eは、その他、例えば、次のように決定することも可能である。 [0125] Further, the offset data FPOS_B and FPOS_E, and size data FSZ_B and FSZ_E are other, for example, can be determined as follows.

【0126】即ち、下位レイヤのオフセットデータFP [0126] In other words, the lower layer offset data FP
OS_Bは、例えば、図10(A)に示すように、下位レイヤの拡大画像のオフセットデータが、絶対座標系における所定の位置としての、例えば原点などに一致するように決定することができる。 OS_B, for example, as shown in FIG. 10 (A), it is possible to offset data of the enlarged image of the lower layer, as the predetermined position in the absolute coordinate system is determined as for example to match the like origin.

【0127】一方、上位レイヤのオフセットデータFP [0127] On the other hand, the upper layer offset data FP
OS_Eは、例えば、図10(B)に示すように、入力されたVOPから抜き出した物体を囲む16倍最小長方形の、例えば、左上の頂点の座標が、初期オフセットデータに基づいて求められ、その座標から初期オフセットデータを減算した値に決定することができる。 OS_E, for example, as shown in FIG. 10 (B), 16 times the minimum rectangle surrounding an object extracted from the input VOP, for example, the upper left vertex coordinates, determined based on the initial offset data, the can be determined to a value obtained by subtracting the initial offset data from the coordinate.

【0128】なお、図10における場合、下位レイヤのサイズデータFSZ_Bおよび上位レイヤのサイズデータFPOS_Eは、図9における場合と同様に決定される。 [0128] In the case in FIG. 10, the size data FPOS_E of the size data FSZ_B and the upper layer of the lower layer are determined as in FIG.

【0129】以上のようにオフセットデータFPOS_ [0129] offset data FPOS_ As described above
BおよびFPOS_Eを決定する場合においても、下位レイヤの拡大画像および上位レイヤの画像を構成する、 Even in the case of determining B and FPOS_E, to construct an image of the enlarged image and the upper layer of the lower layer,
対応する画素どうしが、絶対座標系において同一の位置に配置されることになる。 Corresponding pixels each other is to be arranged at the same position in the absolute coordinate system.

【0130】図4に戻り、画像階層化部21において生成された上位レイヤの画像データ、キー信号、オフセットデータFPOS_E、およびサイズデータFSZ_E [0130] Returning to FIG. 4, the image data, key signals of the upper layer generated in the image layering section 21, offset data FPOS_E, and size data FSZ_E
は、遅延回路22で、後述する下位レイヤ符号化部25 It is a delay circuit 22, lower layer encoding unit 25 to be described later
における処理時間だけ遅延され、上位レイヤ符号化部2 Only the processing time is delayed in the upper layer encoding unit 2
3に供給される。 It is supplied to the 3. また、下位レイヤの画像データ、キー信号、オフセットデータFPOS_B、およびサイズデータFSZ_Bは、下位レイヤ符号化部25に供給される。 The image data, key signals of the lower layer, offset data FPOS_B, and size data FSZ_B is supplied to the lower layer encoding unit 25. また、倍率FRは、遅延回路22を介して、上位レイヤ符号化部23および解像度変換部24に供給される。 Further, the magnification FR, via the delay circuit 22, is supplied to the upper layer encoding unit 23 and the resolution conversion unit 24.

【0131】下位レイヤ符号化部25では、下位レイヤの画像データ(第2の画像)およびキー信号が符号化され、その結果得られる符号化データ(ビットストリーム)に、オフセットデータFPOS_BおよびサイズデータFSZ_Bが含められ、多重化部26に供給される。 [0131] In the lower layer encoding unit 25, image data (second image) and key signals of the lower layer is encoded, the resulting coded data (bit stream), offset data FPOS_B and size data FSZ_B are included, it is fed to the multiplexer 26.

【0132】また、下位レイヤ符号化部25は、符号化データを局所復号化し、その結果局所復号結果である下位レイヤの画像データを、解像度変換部24に出力する。 [0132] The lower layer encoding unit 25 locally decodes the encoded data, the image data of the lower layer is a result local decoding result, and outputs the resolution conversion unit 24. 解像度変換部24は、下位レイヤ符号化部25からの下位レイヤの画像データを、倍率FRにしたがって拡大(または縮小)することにより、元の大きさに戻し、 Resolution conversion unit 24, the image data of the lower layer from the lower layer encoding unit 25, by increasing, according to the proportion FR (or reduced), back to its original size,
これにより得られる拡大画像を、上位レイヤ符号化部2 An enlarged image obtained thereby, the high-level-layer encoding unit 2
3に出力する。 And outputs it to the 3.

【0133】一方、上位レイヤ符号化部23では、上位レイヤの画像データ(第1の画像)およびキー信号が符号化され、その結果得られる符号化データ(ビットストリーム)に、オフセットデータFPOS_EおよびサイズデータFSZ_Eが含められ、多重化部26に供給される。 [0133] On the other hand, the upper layer encoding unit 23, image data (first image) and the key signals of the upper layer is encoded, the resulting coded data (bit stream), offset data FPOS_E and size data FSZ_E are included, it is fed to the multiplexer 26. なお、上位レイヤ符号化部23においては、上位レイヤ画像データの符号化は、解像度変換部24から供給される拡大画像をも参照画像として用いて行われる。 In the upper layer encoding unit 23, the encoding of the upper layer image data is performed using as a reference image is also enlarged image supplied from the resolution conversion unit 24.

【0134】多重化部26では、上位レイヤ符号化部2 [0134] In the multiplexing unit 26, the high-level-layer encoding unit 2
3および下位レイヤ符号化部25の出力が多重化されて出力される。 The output of 3 and the lower layer encoding unit 25 is output is multiplexed.

【0135】なお、下位レイヤ符号化部25から上位レイヤ符号化部23に対しては、下位レイヤのサイズデータFSZ_B、オフセットデータFPOS_B、動きベクトルMV、フラグCODなどが供給されており、上位レイヤ符号化部23では、これらのデータを必要に応じて参照しながら、処理を行うようになされているが、この詳細については、後述する。 [0135] Incidentally, with respect to the upper layer encoding unit 23 from the lower layer encoding unit 25, the size data FSZ_B in the lower layer, offset data FPOS_B, motion vector MV, and the like flag COD is supplied, the upper layer code the unit 23, with reference in accordance with these data as required, have been made to perform processing, details will be described later.

【0136】次に、図11は、図4の下位レイヤ符号化部25の詳細構成例を示している。 [0136] Next, FIG. 11 shows a detailed configuration example of a low-level-layer encoding unit 25 of FIG. なお、図中、図42 It should be noted that, in the drawing, FIG. 42
における場合と対応する部分については、同一の符号を付してある。 For portions corresponding to those in the are denoted by the same reference numerals. 即ち、下位レイヤ符号化部25は、キー信号符号化部43およびキー信号復号部44が新たに設けられている他は、基本的には、図42のエンコーダと同様に構成されている。 That is, the lower layer encoding unit 25, in addition to the key signal encoding unit 43 and key signal decoding unit 44 are newly provided, basically has the same configuration as the encoder of FIG. 42.

【0137】画像階層化部21(図4)からの画像データ、即ち、下位レイヤのVOPは、図42における場合と同様に、フレームメモリ31に供給されて記憶され、 [0137] Image data from the image layering section 21 (Figure 4), i.e., VOP of the lower layer, as in FIG. 42, stored are supplied to the frame memory 31,
動きベクトル検出器32において、マクロブロック単位で動きベクトルの検出が行われる。 In the motion vector detector 32, the detection of the motion vector is performed in units of macroblocks.

【0138】但し、下位レイヤ符号化部25の動きベクトル検出器32には、下位レイヤのVOPのサイズデータFSZ_BおよびオフセットデータFPOS_Bが供給されるようになされており、そこでは、このサイズデータFSZ_BおよびオフセットデータFPOS_Bに基づいて、マクロブロックの動きベクトルが検出される。 [0138] However, the motion vector detector 32 of the lower layer encoding unit 25 is adapted to the size data FSZ_B and offset data FPOS_B of a VOP of the lower layer is provided, where the size data FSZ_B and based on the offset data FPOS_B, motion vector of the macroblock is detected.

【0139】即ち、上述したように、VOPは、時刻(フレーム)によって、大きさや位置が変化するため、 [0139] That is, as described above, VOP is the time (frame), to change the size and position,
その動きベクトルの検出にあたっては、その検出のための基準となる座標系を設定し、その座標系における動きを検出する必要がある。 In the detection of the motion vector, setting the coordinate system as a reference for the detection, it is necessary to detect motion in the coordinate system. そこで、ここでは、動きベクトル検出器43は、上述の絶対座標系を基準となる座標系とし、その絶対座標系に、サイズデータFSZ_BおよびオフセットデータFPOS_Bにしたがって、符号化対象のVOPおよび参照画像とするVOPを配置して、 Therefore, here, the motion vector detector 43, a coordinate system as a reference absolute coordinate system described above, in the absolute coordinate system, in accordance with the size data FSZ_B and offset data FPOS_B, and VOP and a reference image of the encoding target and the VOP is placed,
動きベクトルを検出するようになされている。 It is adapted to detect the motion vector.

【0140】さらに、動きベクトル検出器32には、下位レイヤのキー信号を符号化し、その符号化結果を復号化した復号キー信号が、キー信号復号部44から供給されるようになされており、動きベクトル検出器32は、 [0140] Furthermore, the motion vector detector 32, encodes the key signal of the lower layer, decryption key signal decodes the encoding result, and adapted to be supplied from the key signal decoding unit 44, the motion vector detector 32,
この復号キー信号によって、VOPから物体を抜き出し、その動きベクトルを検出するようになされている。 This decryption key signal, extracts an object from VOP, is adapted to detect the motion vector.
ここで、物体を抜き出すのに、元のキー信号(符号化前のキー信号)ではなく、復号キー信号を用いるのは、受信側において用いられるのが復号キー信号だからである。 Here, to extract the object, the original key signal (before encoding of the key signal) without use a decryption key signal is because the decoded key signal for use at the receiving side.

【0141】なお、検出された動きベクトル(MV) [0141] It should be noted that the detected motion vector (MV)
は、予測モードとともに、VLC器36および動き補償器42に供給される他、上位レイヤ符号化部23(図4)にも供給される。 , Together with the prediction mode, except that supplied to the VLC unit 36 ​​and motion compensator 42, it is also supplied to the upper layer encoding unit 23 (Fig. 4).

【0142】また、動き補償を行う場合においても、やはり、上述したように、基準となる座標系における動きを検出する必要があるため、動き補償器42には、サイズデータFSZ_BおよびオフセットデータFPOS_ [0142] Also in the case of performing motion compensation, also, as described above, it is necessary to detect the motion in the coordinate system as a reference, the motion compensator 42, the size data FSZ_B and offset data FPOS_
Bが供給されるようになされている。 B is adapted to be supplied. さらに、動き補償器42には、動きベクトル検出器32における場合と同様の理由から、キー信号復号部44から復号キー信号が供給されるようになされている。 Furthermore, the motion compensator 42, for the same reason as in the motion vector detector 32, the decoded key signal from the key signal decoding unit 44 is adapted to be supplied.

【0143】動きベクトルの検出されたVOPは、図4 [0143] The detected VOP motion vector, FIG. 4
2における場合と同様に量子化データとされてVLC器36に供給される。 If the 2 and is similarly quantized data are supplied to the VLC unit 36. VLC器36には、やはり図42における場合と同様に、量子化データ、量子化ステップ、 The VLC unit 36, again as in FIG. 42, the quantized data, quantization step,
動きベクトル、および予測モードが供給される他、画像階層化部21からのサイズデータFSZ_BおよびオフセットデータFPOS_Bも供給されており、そこでは、これらのデータすべてが可変長符号化される。 Besides motion vectors, and prediction mode is supplied, the size data FSZ_B and offset data FPOS_B from the image layering section 21 are supplied, in which, all of these data are variable length encoded. さらに、VLC器36には、キー信号符号化部43からキー信号の符号化結果(キー信号のビットストリーム)も供給されるようになされており、VLC器36は、このキー信号の符号化結果も可変長符号化して出力する。 In addition, the VLC unit 36, the key signal encoding unit 43 encodes the result of the key signal from the (bitstream of the key signal) are also adapted to be supplied, the VLC unit 36, the encoding result of the key signal also outputs the variable-length coding.

【0144】即ち、キー信号符号化部43は、画像階層化部21からのキー信号を、例えば、図3で説明したように符号化し、その符号化結果を、VLC器36に出力する。 [0144] That is, the key signal encoding unit 43, a key signal from the image layering section 21, for example, coded as described in FIG. 3, the encoded result is output to the VLC unit 36. また、キー信号の符号化結果は、VLC器36の他、キー信号復号部44にも供給され、キー信号復号部44は、キー信号の符号化結果を復号化し、その復号化されたキー信号(復号キー信号)を、動きベクトル検出器32、動き補償器42、および解像度変換部24(図4)に出力する。 The encoding result of the key signal, another VLC unit 36, is also supplied to the key signal decoding unit 44, the key signal decoding unit 44 decodes the encoding result of the key signal, the decoded key signal the (decryption key signal), the motion vector detector 32, and outputs to the motion compensator 42 and the resolution converter 24, (FIG. 4).

【0145】ここで、キー信号符号化部43には、下位レイヤのキー信号の他、サイズデータFSZ_BおよびオフセットデータFPOS_Bが供給されるようになされており、そこでも、動きベクトル検出器32における場合と同様に、それらのデータに基づいて、絶対座標系におけるキー信号の位置と範囲とが認識されるようになされている。 [0145] Here, the key signal encoding unit 43, other key signals of the lower layer, have been made so that the size data FSZ_B and offset data FPOS_B are supplied, there also, if the motion vector detector 32 as with, based on their data, the position and range of the key signal are adapted to be recognized in the absolute coordinate system.

【0146】動きベクトルの検出されたVOPは、上述したように符号化される他、やはり図42における場合と同様に局所復号され、フレームメモリ41に記憶される。 [0146] The detected VOP motion vector, in addition to being coded as described above, also be similarly locally decoded as in Fig. 42, it is stored in the frame memory 41. この復号画像は、前述したように参照画像として用いられる他、解像度変換部24に出力される。 The decoded image, except that used as a reference picture, as described above, is output to the resolution conversion unit 24.

【0147】なお、MPEG4においては、MPEG1 [0147] It should be noted that, in the MPEG4, MPEG1
および2と異なり、Bピクチャも参照画像として用いられるため、Bピクチャも、局所復号化され、フレームメモリ41に記憶されるようになされている(但し、現時点においては、Bピクチャが参照画像として用いられるのは上位レイヤについてだけである)。 And 2 unlike, since the B-picture is used as a reference picture, the B picture also been locally decoded, is adapted to be stored in the frame memory 41 (however, at the present time, using B picture as a reference picture it is one is only for the top layer).

【0148】一方、VLC器36は、図42で説明したように、I,P,Bピクチャのマクロブロックについて、スキップマクロブロックとするかどうかを決定し、 [0148] On the other hand, VLC unit 36, as described in FIG. 42, I, P, for a macroblock of the B picture, and determines whether a skip macroblock,
その決定結果を示すフラグCOD,MODBを設定する。 Flag COD indicating the determination result, sets the MODB. このフラグCOD,MODBは、やはり可変長符号化されて伝送される。 The flag COD, MODB is transmitted is also variable-length coding. さらに、フラグCODは、上位レイヤ符号化部23にも供給される。 Furthermore, the flag COD is also supplied to the upper layer encoding unit 23.

【0149】次に、図12は、図4の上位レイヤ符号化部23の構成例を示している。 [0149] Next, FIG. 12 shows a configuration example of a high-level-layer encoding unit 23 of FIG. なお、図中、図11または図42における場合と対応する部分については、同一の符号を付してある。 In the figure, portions corresponding to those in FIG. 11 or FIG. 42 are denoted by the same reference numerals. 即ち、上位レイヤ符号化部23 In other words, the high-level-layer encoding unit 23
は、キー信号符号化部51、フレームメモリ52、およびキー信号復号部53が、新たに設けられている他は、 , In addition to the key signal encoding unit 51, a frame memory 52 and the key signal decoding unit 53, has been newly provided,
基本的には、図11の下位レイヤ符号化部25または図42のエンコーダと同様に構成されている。 Basically, it has the same configuration as the encoder of the lower layer encoding unit 25 or 42 of Figure 11.

【0150】画像階層化部21(図4)からの画像データ、即ち、上位レイヤのVOPは、図42における場合と同様に、フレームメモリ31に供給されて記憶され、 [0150] Image data from the image layering section 21 (Figure 4), i.e., VOP of the upper layer, as in FIG. 42, stored are supplied to the frame memory 31,
動きベクトル検出器32において、マクロブロック単位で動きベクトルの検出が行われる。 In the motion vector detector 32, the detection of the motion vector is performed in units of macroblocks. なお、この場合も、 It should be noted that, even in this case,
動きベクトル検出器32には、図11における場合と同様に、上位レイヤのVOPの他、そのサイズデータFS The motion vector detector 32, as in FIG. 11, other VOP of the upper layer, the size data FS
Z_EおよびオフセットデータFPOS_Eが供給されるととも、キー信号復号部53がら復号キーが供給されるようになされており、動きベクトル検出器32では、 Both the Z_E and offset data FPOS_E are supplied, the key signal decoding unit 53 grounds decryption key is adapted to be supplied, the motion vector detector 32,
上述の場合と同様に、このサイズデータFSZ_EおよびオフセットデータFPOS_Eに基づいて、絶対座標系における上位レイヤのVOPの配置位置が認識されるとともに、そのVOPに含まれる物体の抜き出しが、復号キー信号に基づいて行われ、マクロブロックの動きベクトルが検出される。 As with the above, on the basis of the size data FSZ_E and offset data FPOS_E, together with the arrangement position of the VOP of the upper layer in the absolute coordinate system is recognized, the extraction of the object contained in the VOP, the decoding key signal made based, motion vector of the macroblock is detected.

【0151】ここで、上位レイヤ符号化部23および下位レイヤ符号化部25における動きベクトル検出器32 [0151] Here, the motion in the upper layer encoding unit 23 and the low-level-layer encoding unit 25 vector detector 32
では、図42で説明したように、予め設定されている所定のシーケンスにしたがって、VOPが処理されていくが、そのシーケンスは、ここでは、例えば、次のように設定されている。 In, as described in FIG. 42, according to a predetermined sequence which is set in advance, but VOP is gradually being processed, the sequence is here, for example, are set as follows.

【0152】即ち、空間スケーラビリティの場合においては、図13(A)または図13(B)に示すように、 [0152] That is, in case of spatial scalability, as shown in FIG. 13 (A) or FIG. 13 (B),
上位レイヤまたは下位レイヤのVOPは、例えば、P, VOP of the upper layer or the lower layer, for example, P,
B,B,B,・・・またはI,P,P,P,・・・の順でそれぞれ処理されていく。 B, B, B, ···, or I, P, P, P, will be processed each in the order of ....

【0153】そして、この場合、上位レイヤの最初のV [0153] Then, the first V in this case, the upper layer
OPであるPピクチャは、例えば、同時刻における下位レイヤのVOP(ここでは、Iピクチャ)を参照画像として用いて符号化される。 P-picture is OP, for example, (in this case, I-pictures) lower layer VOP at the same time is coded using the reference image. また、上位レイヤの2番目以降のVOPであるBピクチャは、例えば、その直前の上位レイヤのVOPおよびそれと同時刻の下位レイヤのV Further, B-pictures are VOP of the second and subsequent upper layers, eg, V of the lower layer of the VOP and it the same time immediately before the upper layer
OPを参照画像として用いて符号化される。 It is encoded using OP as a reference picture. 即ち、ここでは、上位レイヤのBピクチャは、下位レイヤのPピクチャと同様に他のVOPを符号化する場合の参照画像として用いられる。 That is, here, B-picture of the upper layer is used the other VOP like the P-picture of the lower layer as a reference picture in encoding.

【0154】なお、下位レイヤについては、例えば、M [0154] It is to be noted that the lower layer, for example, M
PEG1や2、あるいはH. PEG1 or two, or H. 263における場合と同様に符号化が行われていく。 Encoding will take place as in 263.

【0155】SNRスケーラビリティは、空間スケーラビリティにおける倍率FRが1のときと考えられるから、上述の空間スケーラビリティの場合と同様に処理される。 [0155] SNR scalability, be considered that when the magnification FR in the spatial scalability is 1, is treated in the same manner as in the spatial scalability described above.

【0156】テンポラルスケーラビリティの場合、即ち、例えば、上述したように、VOが、VOP0,VO [0156] In the case of the temporal scalability, that is, for example, as described above, VO is, VOP0, VO
P1,VOP2,VOP3,・・・で構成され、VOP P1, VOP2, VOP3, is composed of a ···, VOP
1,VOP3,VOP5,VOP7,・・・が上位レイヤとされ(図14(A))、VOP0,VOP2,VO 1, VOP3, VOP5, VOP7, ··· is an upper layer (FIG. 14 (A)), VOP0, VOP2, VO
P4,VOP6,・・・が下位レイヤとされた場合においては(図14(B))、図14に示すように、上位レイヤまたは下位レイヤのVOPは、例えば、B,B, P4, VOP6, when ... is the lower layer (FIG. 14 (B)), as shown in FIG. 14, VOP of the upper layer or lower layer, for example, B, B,
B,・・・またはI,P,P,P,・・・の順でそれぞれ処理されていく。 B, ... or I, P, P, P, will be processed each in the order of ....

【0157】そして、この場合、上位レイヤの最初のV [0157] Then, the first V in this case, the upper layer
OP1(Bピクチャ)は、例えば、下位レイヤのVOP OP1 (B-picture), for example, the lower layer VOP
0(Iピクチャ)およびVOP2(Pピクチャ)を参照画像として用いて符号化される。 0 is encoded using a (I-picture) and VOP2 (P-picture) the reference image. また、上位レイヤの2 In addition, the upper layer 2
番目のVOP3(Bピクチャ)は、例えば、その直前にBピクチャとして符号化された上位レイヤのVOP1、 Th VOP3 (B-picture), for example, VOP1 coded upper layer immediately before the B-picture,
およびVOP3の次の時刻(フレーム)における画像である下位レイヤのVOP4(Pピクチャ)を参照画像として用いて符号化される。 And are encoded using the lower layer is an image VOP4 the (P picture) as a reference picture at the next time of VOP3 (frame). 上位レイヤの3番目のVOP Of the upper layer the third VOP
5(Bピクチャ)も、VOP3と同様に、例えば、その直前にBピクチャとして符号化された上位レイヤのVO 5 (B-picture), like the VOP3, for example, VO coded upper layer immediately before the B-picture
P3、およびVOP5の次の時刻(フレーム)における画像である下位レイヤのVOP6(Pピクチャ)を参照画像として用いて符号化される。 P3, and are encoded using the lower layer is an image VOP6 the (P picture) as a reference image for the next time the VOP5 (frame).

【0158】以上のように、あるレイヤのVOP(ここでは、上位レイヤ)については、PおよびBピクチャを符号化するための参照画像として、他のレイヤ(スケーラブルレイヤ)(ここでは、下位レイヤ)のVOPを用いることができる。 [0158] As described above, (in this case, the upper layer) of a certain layer VOP for, as a reference picture for coding the P and B pictures, another layer (scalable layer) (here, the lower layer) it is possible to use of the VOP. このように、あるレイヤのVOPを符号化するのに、他のレイヤのVOPを参照画像として用いる場合、即ち、ここでは、上位レイヤのVOPを予測符号化するのに、下位レイヤのVOPを参照画像として用いる場合、上位レイヤ符号化部23(図12)の動きベクトル検出器32は、その旨を示すフラグref_ Thus, to encode a VOP in one layer, when using the VOP of the other layer as a reference picture, i.e., here, to predict encoded VOP of the upper layer, see VOP of the lower layer when used as an image, the motion vector detector 32 of the upper layer encoding unit 23 (FIG. 12), a flag ref_ indicating that
layer_id(階層数が3以上存在する場合、フラグref_layer_idは、参照画像として用いるVOPが属するレイヤを表す)を設定して出力するようになされている。 (If the number of levels is present 3 or more, the flag ref_layer_id is employed as a reference image VOP represents a layer belongs) layer_id by setting and to output.

【0159】さらに、上位レイヤ符号化部23の動きベクトル検出器32は、VOPについてのフラグref_ [0159] Furthermore, the motion vector detector 32 of the upper layer encoding unit 23, the flag of the VOP Ref_
layer_idにしたがい、前方予測符号化または後方予測符号化を、それぞれ、どのレイヤのVOPを参照画像として行うかを示すフラグref_select_ Follow the layer_id, flag indicating whether the forward predictive coding or backward predictive coding, respectively, performs VOP of which layer as a reference picture ref_select_
code(参照画像情報)を設定して出力するようにもなされている。 Set the code (reference picture information) is also made to output.

【0160】即ち、図15(A)または(B)は、PまたはBピクチャについてのフラグref_select [0160] That is, FIG. 15 (A) or (B), a flag ref_select for P or B-picture
_codeを、それぞれ示している。 The _code, are shown, respectively.

【0161】例えば、上位レイヤ(Enhancement Laye [0161] For example, the upper layer (Enhancement Laye
r)のPピクチャが、その直前に復号(局所復号)される、それと同一のレイヤに属するVOPを参照画像として用いて符号化される場合、フラグref_selec If P pictures r) is, its is immediately before the decoding (local decoding), therewith is encoded using a VOP which belongs to the same layer as a reference picture, the flag ref_selec
t_codeは「00」とされる。 t_code is set to "00". また、Pピクチャが、その直前に表示される、それと異なるレイヤ(ここでは、下位レイヤ)(Reference Layer)に属するVO Further, P-picture is displayed immediately before (in this case, lower layer) and the different layers it belongs to (Reference Layer) VO
Pを参照画像として用いて符号化される場合、フラグr Where encoded using P as a reference picture, the flag r
ef_select_codeは「01」とされる。 ef_select_code is set to "01". さらに、Pピクチャが、その直後に表示される、それと異なるレイヤに属するVOPを参照画像として用いて符号化される場合、フラグref_select_code Further, if the P-picture is displayed immediately thereafter, it is encoded using a VOP which belongs in a different layer it as a reference picture, the flag ref_select_code
は「10」とされる。 It is set to "10". また、Pピクチャが、それと同時刻における、異なるレイヤのVOPを参照画像として用いて符号化される場合、フラグref_select_ Also, if the P picture is the same for the same time, it is encoded using a VOP different layer as a reference picture, the flag ref_select_
codeは「11」とされる(図15(A))。 code is set to "11" (FIG. 15 (A)).

【0162】一方、例えば、上位レイヤのBピクチャが、それと同時刻における、異なるレイヤのVOPを前方予測のための参照画像として用い、かつ、その直前に復号される、それと同一のレイヤに属するVOPを後方予測のための参照画像として用いて符号化される場合、 [0162] On the other hand, for example, B-pictures in the enhancement layer is, the same at the same time, using a VOP different layer as a reference picture for forward prediction, and is decoded immediately before, at the same belong to the same layer VOP where encoded using as a reference picture for backward prediction,
フラグref_select_codeは「00」とされる。 Ref_select_code flag is set to "00". また、上位レイヤのBピクチャが、それと同一のレイヤに属するVOPを前方予測のための参照画像として用い、かつ、その直前に表示される、それと異なるレイヤに属するVOPを後方予測のための参照画像として用いて符号化される場合、フラグref_select Further, B-pictures in the enhancement layer is therewith using a VOP which belongs to the same layer as a reference picture for forward prediction, and reference image for display immediately before the VOP which belongs in a different layer it backward prediction where encoded using as a flag ref_select
_codeは「01」とされる。 _code is set to "01". さらに、上位レイヤのBピクチャが、その直前に復号される、それと同一のレイヤに属するVOPを前方予測のための参照画像として用い、かつその直後に表示される、それと異なるレイヤに属するVOPを後方予測のための参照画像として用いて符号化される場合、フラグref_select_c Further, the rear B-picture of the upper layer is decoded immediately before, at the same using a VOP which belongs to the same layer as a reference picture for forward prediction, and is displayed immediately thereafter, a VOP which belongs in a different layer it where encoded using as a reference picture for prediction flag ref_select_c
odeは「10」とされる。 ode is set to "10". また、上位レイヤのBピクチャが、その直前に表示される、それと異なるレイヤに属するVOPを前方予測のための参照画像として用い、 Further, B-pictures in the enhancement layer is, used is displayed immediately before the VOP which belongs to the different layer as a reference image for forward prediction,
かつその直後に表示される、それと異なるレイヤに属するVOPを後方予測のための参照画像として用いて符号化される場合、フラグref_select_code And if that is displayed immediately after, it is encoded using a VOP which belongs to a different layer from that as a reference picture for backward prediction, the flag ref_select_code
は「11」とされる(図15(B))。 It is set to "11" (FIG. 15 (B)).

【0163】ここで、図13および図14で説明した予測符号化の方法は、1つの例であり、前方予測符号化、 [0163] Here, the method of predictive coding described in FIGS. 13 and 14 are one example, forward predictive coding,
後方予測符号化、または両方向予測符号化における参照画像として、どのレイヤの、どのVOPを用いるかは、 Backward predictive coding, or as a reference image in the bidirectional predictive coding, any layer, is the method of using the VOP,
例えば、図15で説明した範囲で、自由に設定することが可能である。 For example, in the range described with reference to FIG. 15, it is possible to freely set.

【0164】なお、上述の場合においては、便宜的に、 [0164] Incidentally, in the above-mentioned case, for convenience,
「空間スケーラビリティ」、「時間スケーラビリティ」、「SNRスケーラビリティ」という語を用いたが、図15で説明したように、予測符号化に用いる参照画像を設定する場合、即ち、図15に示したようなシンタクスを用いる場合、フラグref_select_c "Spatial scalability", "temporal scalability", has been used the word "SNR scalability", as described in FIG. 15, when setting the reference image used for predictive coding, i.e., as shown in FIG. 15 If you use the syntax, flag ref_select_c
odeによって、空間スケーラビリティや、テンポラルスケーラビリティ、SNRスケーラビリティを明確に区別することは困難となる。 By ode, and spatial scalability, temporal scalability, it is difficult to clearly distinguish between the SNR scalability. 即ち、逆にいえば、フラグr In other words, other words, the flag r
ef_select_codeを用いることによって、 By using the ef_select_code,
上述のようなスケーラビリティの区別をせずに済むようになる。 So unnecessary to distinguish scalability as described above.

【0165】なお、上述のスケーラビリティとフラグr [0165] In addition, the above-mentioned scalability and flag r
ef_select_codeとを対応付けるとすれば、例えば、次のようになる。 If associating the Ef_select_code, for example, as follows. 即ち、Pピクチャについては、フラグref_select_codeが「1 That is, for a P-picture, the flag ref_select_code is "1
1」の場合が、フラグref_layer_idが示すレイヤの同時刻におけるVOPを参照画像(前方予測のための参照画像)として用いる場合であるから、これは、空間スケーラビリティまたはSNRスケーラビリティに対応する。 For 1 ", since a case of using a VOP at the same time the layer indicated by the flag ref_layer_id as a reference picture (reference picture for forward prediction), this corresponds to spatial scalability or SNR scalability. そして、フラグref_select_ Then, the flag ref_select_
codeが「11」の場合以外は、テンポラルスケーラビリティに対応する。 Unless code is "11" corresponds to the temporal scalability.

【0166】また、Bピクチャについては、フラグre [0166] In addition, the B-picture, the flag re
f_select_codeが「00」の場合が、やはり、フラグref_layer_idが示すレイヤの同時刻におけるVOPを前方予測のための参照画像として用いる場合であるから、これが、空間スケーラビリティまたはSNRスケーラビリティに対応する。 If f_select_code is "00", again, because in the case of using a VOP at the same time the layer indicated by the flag ref_layer_id as a reference picture for forward prediction, which corresponds to spatial scalability or SNR scalability. そして、フラグref_select_codeが「00」の場合以外は、テンポラルスケーラビリティに対応する。 And, unless ref_select_code flag is "00" corresponds to the temporal scalability.

【0167】なお、上位レイヤのVOPの予測符号化のために、それと異なるレイヤ(ここでは、下位レイヤ) [0167] Incidentally, for prediction encoding the VOP of the upper layer, a different layer that (here, the lower layer)
の、同時刻におけるVOPを参照画像として用いる場合、両者の間に動きはないので、動きベクトルは、常に0(0,0)とされる。 Of, when used as a reference picture to VOP at the same time, since there is no motion therebetween, the motion vector is always zero (0, 0).

【0168】図12に戻り、上位レイヤ符号化部23の動き検出器31では、以上のようなフラグref_la [0168] Returning to FIG. 12, the motion detector 31 of the upper layer encoding unit 23, as described above Flag ref_la
yer_idおよびref_select_codeが設定され、動き補償器42およびVLC器36に供給される。 yer_id and ref_select_code is set, it is supplied to the motion compensator 42 and VLC unit 36.

【0169】また、動きベクトル検出器32では、フラグref_layer_idおよびref_selec [0169] Also, the motion vector detector 32, flag ref_layer_id and ref_selec
t_codeにしたがって、フレームメモリ31を参照するだけでなく、必要に応じて、フレームメモリ52をも参照して、動きベクトルが検出される。 According T_code, not only referring to the frame memory 31, if necessary, with reference also to the frame memory 52, a motion vector is detected.

【0170】ここで、フレームメモリ52には、解像度変換部24(図4)から、局所復号された下位レイヤの拡大画像が供給されるようになされている。 [0170] Here, in the frame memory 52, the resolution conversion unit 24 (FIG. 4), the enlarged image of the locally decoded lower layer is adapted to be supplied. 即ち、解像度変換部24では、局所復号された下位レイヤのVOP That is, the resolution conversion unit 24, the locally decoded lower layer VOP
が、例えば、いわゆる補間フィルタなどによって拡大され、これにより、そのVOPを、FR倍だけした拡大画像、つまり、その下位レイヤのVOPに対応する上位レイヤのVOPと同一の大きさとした拡大画像が生成され、上位レイヤ符号化部23に供給される。 But, for example, is expanded by so-called interpolation filter, thereby, the VOP, enlarged image by FR times, that is, an enlarged image obtained by the VOP same size and of the upper layer corresponding to the VOP of the lower layer generating is supplied to the upper layer encoding unit 23. フレームメモリ52では、このようにして解像度変換部24から供給される拡大画像が記憶される。 In the frame memory 52, the enlarged image this way is supplied from the resolution conversion unit 24 is stored.

【0171】従って、倍率FRが1の場合は、解像度変換部24は、下位レイヤ符号化部25からの局所復号されたVOPに対して、特に処理を施すことなく、そのまま、上位レイヤ符号化部23に供給する。 [0171] Therefore, if the magnification FR is 1, the resolution conversion unit 24, to the locally decoded VOP from the lower layer encoding unit 25 without particularly performing processing, as it is, the high-level-layer encoding unit It supplies it to the 23.

【0172】動きベクトル検出器32には、下位レイヤ符号化部25からサイズデータFSZ_BおよびオフセットデータFPOS_Bが供給されるとともに、遅延回路22(図4)からの倍率FRが供給されるようになされており、動きベクトル検出器31は、フレームメモリ52に記憶された拡大画像を参照画像として用いる場合、即ち、上位レイヤのVOPの予測符号化に、そのV [0172] The motion vector detector 32, together with the size data FSZ_B and offset data FPOS_B from the lower layer encoding unit 25 is supplied, is made so that the magnification FR from the delay circuit 22 (FIG. 4) is supplied cage, the motion vector detector 31, the case of using the enlarged image stored in the frame memory 52 as a reference image, i.e., the predictive encoding of a VOP of the upper layer, the V
OPと同時刻における下位レイヤのVOPを参照画像として用いる場合(この場合、図15で説明したように、 When using the VOP of the lower layer in the OP and the same time as a reference image (in this case, as described with reference to FIG. 15,
フラグref_select_codeは、Pピクチャについては「11」に(同図(A))、Bピクチャについては「00」にされる(同図(B))、その拡大画像に対応するサイズデータFSZ_BおよびオフセットデータFPOS_Bに、倍率FRを乗算する。 Flag ref_select_code is the "11" for P-pictures (Fig (A)), it is a "00" for B-pictures (Fig (B)), the size data FSZ_B and offset data corresponding to the enlarged image to FPOS_B, multiplied by the magnification FR. そして、その乗算結果に基づいて、絶対座標系における拡大画像の位置を認識し、動きベクトルの検出を行う。 Then, based on the multiplication result, to recognize the position of the enlarged image in the absolute coordinate system, to detect the motion vector.

【0173】なお、動きベクトル検出器32には、下位レイヤの動きベクトルと予測モードが供給されるようになされており、これは、次のような場合に使用される。 [0173] Note that the motion vector detector 32, have been made so that the prediction mode and motion vector of the lower layer is supplied, which is used in the following case.
即ち、動きベクトル検出部32は、例えば、上位レイヤのBピクチャについてのフラグref_select_ That is, the motion vector detection unit 32, for example, flag ref_select_ for B-picture of the upper layer
codeが「00」である場合において、倍率FRが1 In the case code is "00", magnification FR is 1
であるとき、即ち、SNRスケーラビリティのとき(但し、この場合、上位レイヤの予測符号化に、上位レイヤのVOPが用いられるので、この点で、ここでいうSN When it is, namely, when the SNR scalability (however, in this case, the predictive coding of the upper layer, the VOP of the upper layer is used, in this regard, here SN
Rスケーラビリティは、MPEG2に規定されているものと異なる)、上位レイヤと下位レイヤは同一の画像であるから、上位レイヤのBピクチャの予測符号化には、 R scalability is different from those defined in MPEG2), because the upper and lower layers are the same image, the predictive coding of B-pictures of the upper layer,
下位レイヤの同時刻における画像の動きベクトルと予測モードをそのまま用いることができる。 The prediction mode with the image of the motion vector at the same time the lower layer can be used as it is. そこで、この場合、動きベクトル検出部32は、上位レイヤのBピクチャについては、特に処理を行わず、下位レイヤの動きベクトルと予測モードをそのまま採用する。 Therefore, in this case, the motion vector detection unit 32, the B-picture of the upper layer is not particularly perform processing, employing the prediction mode and motion vector of the lower layer as it is.

【0174】なお、この場合、上位レイヤ符号化部23 [0174] It should be noted that, in this case, the upper layer encoding unit 23
では、動きベクトル検出器32からVLC器36には、 So from the motion vector detector 32 to the VLC unit 36,
動きベクトルおよび予測モードは出力されない(従って、伝送されない)。 Motion vector and predictive mode are not output (thus, not transmitted). これは、受信側において、上位レイヤの動きベクトルおよび予測モードを、下位レイヤの復号結果から認識することができるからである。 This is because, in the receiving side, it is the motion vector and the prediction mode of the upper layer, because it can be recognized from the result of decoding the lower layer.

【0175】以上のように、動きベクトル検出器32 [0175] As described above, the motion vector detector 32
は、上位レイヤのVOPの他、拡大画像をも参照画像として用いて、動きベクトルを検出し、さらに、図42で説明したように、予測誤差(あるいは分散)を最小にする予測モードを設定する。 The other VOP of the upper layer, using as a reference image is also an enlarged image, detecting a motion vector, furthermore, as described in FIG. 42, to set the prediction mode which minimizes the prediction error (or dispersion) . また、動きベクトル検出器3 The motion vector detector 3
2は、例えば、フラグref_select_code 2, for example, flag ref_select_code
やref_layer_idその他の必要な情報を設定して出力する。 And ref_layer_id sets and outputs the other necessary information.

【0176】なお、図12では、下位レイヤ符号化部2 [0176] In FIG. 12, the lower layer encoding unit 2
5から、下位レイヤにおけるIまたはPピクチャを構成するマクロブロックがスキップマクロブロックであるかどうかを示すフラグCODが、動きベクトル検出器3 5, the flag COD indicating whether a macroblock constituting an I or P picture in the lower layer is a skip macroblock, the motion vector detector 3
2、VLC器36、および動き補償器42に供給されるようになされているが、これについては、後述する。 2, VLC unit 36, and is adapted to be supplied to the motion compensator 42, which will be described later.

【0177】動きベクトルの検出されたマクロブロックは、上述した場合と同様に符号化され、これにより、V [0177] Detection macroblock motion vectors, are similarly encoded in the above-described case, thereby, V
LC器36からは、その符号化結果としての可変長符号が出力される。 From LC 36, the variable length code as the encoding result is output.

【0178】なお、上位レイヤ符号化部23のVLC器36は、下位レイヤ符号化部25における場合と同様に、フラグCOD,MODBを設定して出力するようになされている。 [0178] Incidentally, VLC unit 36 ​​of the high-level-layer encoding unit 23, as in the case of low-level-layer encoding unit 25, flag COD, and then outputs by setting the MODB. ここで、フラグCODは、上述したように、IまたはPピクチャのマクロブロックがスキップマクロブロックであるかどうかを示すものであるが、フラグMODBは、Bピクチャのマクロブロックがスキップマクロブロックであるかどうかを示すものである。 Here, if a flag COD, as described above, while indicating whether the macroblocks of the I or P-picture is a skip macroblock, flag MODB the macroblock of the B picture is a skip macro-block It illustrates how.

【0179】また、VLC器36には、量子化係数、量子化ステップ、動きベクトル、および予測モードの他、 [0179] Also, the VLC unit 36, the quantization coefficients, quantization step, motion vector, and other prediction modes,
倍率FR、フラグref_serect_code,r Magnification FR, flag ref_serect_code, r
ef_layer_id、サイズデータFSZ_E、オフセットデータFPOS_E、およびキー信号符号化部51の出力も供給されるようになされており、VLC器36では、これらのデータがすべて可変長符号化されて出力される。 Ef_layer_id, size data FSZ_E, offset data FPOS_E, and the output of the key signal encoding unit 51 is also adapted to be supplied, the VLC unit 36, these data are all output is variable length coded.

【0180】一方、動きベクトルの検出されたマクロブロックは符号化された後、やはり上述したように局所復号され、フレームメモリ41に記憶される。 [0180] On the other hand, the detected macro block motion vectors after being encoded, is also locally decoded as described above, is stored in the frame memory 41. そして、動き補償器42において、動きベクトル検出器32における場合と同様にして、フレームメモリ41に記憶された、局所復号された上位レイヤのVOPだけでなく、フレームメモリ52に記憶された、局所復号されて拡大された下位レイヤのVOPをも参照画像として用いて動き補償が行われ、予測画像が生成される。 Then, the motion compensator 42, in the same manner as in the motion vector detector 32, stored in the frame memory 41, not only the VOP of the local decoded upper layer stored in the frame memory 52, the local decoded It is carried out motion compensation using as a reference picture also VOP of the enlarged lower layer and is, prediction image is generated.

【0181】即ち、動き補償器42には、動きベクトルおよび予測モードの他、フラグref_serect_ [0181] That is, the motion compensator 42, another motion vector and predictive mode, flag ref_serect_
code,ref_layer_id、復号キー信号、 code, ref_layer_id, decryption key signal,
倍率FR、サイズデータFSZ_B,FSZ_E、オフセットデータFPOS_B,FPOS_Eが供給されるようになされており、動き補償器42は、フラグref Magnification FR, size data FSZ_B, FSZ_E, offset data FPOS_B, have been made as FPOS_E are supplied, the motion compensator 42, the flag ref
_serect_code,ref_layer_id _serect_code, ref_layer_id
に基づいて、動き補償すべき参照画像を認識し、さらに、参照画像として、局所復号された上位レイヤのVO Based on, recognizes a reference image to be motion-compensated, further as a reference picture, the locally decoded upper layer VO
P、または拡大画像を用いる場合には、その絶対座標系における位置と大きさを、サイズデータFSZ_EおよびオフセットデータFPOS_E、またはサイズデータFSZ_BおよびオフセットデータFPOS_Bに基づいて認識し、必要に応じて、倍率FRと復号キー信号を用いて予測画像を生成する。 P or in the case of using an enlarged image, the position and size in the absolute coordinate system, and recognizes based on the size data FSZ_E and offset data FPOS_E, or the size data FSZ_B and offset data FPOS_B, if necessary, magnification generating a predictive image using the FR and the decoded key signal.

【0182】一方、上位レイヤのVOPのキー信号は、 [0182] On the other hand, the key signal of the VOP of the upper layer,
キー信号符号化部51に供給される。 It is supplied to the key signal encoding unit 51. キー信号符号化部51では、例えば、図11のキー信号符号化部43における場合と同様にして、キー信号が符号化され、VLC In the key signal encoding unit 51, for example, in the same manner as in the key signal encoding unit 43 of FIG. 11, the key signal is encoded, VLC
器36およびキー信号復号部53に供給される。 It is supplied to the vessel 36 and the key signal decoding unit 53. キー信号復号部53では、キー信号符号化部51によるキー信号の符号化結果が復号される。 In the key signal decoding unit 53, the encoding result of the key signal by the key signal encoding unit 51 is decoded. この復号化されたキー信号は、上述したように、動きベクトル検出器32および動き補償器42に供給され、上位レイヤのVOPの抜き出しに用いられる。 The decoded key signal, as described above, is supplied to the motion vector detector 32 and motion compensator 42, used for extraction of VOP of the upper layer.

【0183】次に、図16は、図1のエンコーダから出力されるビットストリームを復号化するデコーダの一実施の形態の構成を示している。 [0183] Next, FIG. 16 shows the configuration of an embodiment of a decoder for decoding the bit stream output from the encoder of FIG.

【0184】図1のエンコーダから出力され、伝送路5 [0184] output from the encoder of FIG. 1, the transmission path 5
を介して伝送されてくるビットストリームは、図示せぬ受信装置で受信され、あるいは、記録媒体6に記録されたビットストリームは、図示せぬ再生装置で再生され、 Bitstream transmitted via the is received by the receiver device (not shown), or the bit stream recorded on the recording medium 6 is reproduced by unshown playback device,
逆多重化部71に供給される。 It is supplied to the demultiplexer 71.

【0185】逆多重化部71では、そこに入力されたビットストリームが、VOごとのビットストリームVO [0185] The inverse multiplexing section 71, the bit stream input thereto, the bit stream VO per VO
1,VO2,・・・に分離され、それぞれ、対応するV 1, VO2, are separated into., Respectively, corresponding V
OP復号部72nに供給される。 It is supplied to the OP decoder 72n. VOP復号部72nでは、逆多重化部71からのビットストリームから、VO The VOP decoder 72n, the bit stream from the demultiplexer 71, VO
を構成するVOP(画像データ)、キー信号、サイズデータ(VOP size)、およびオフセットデータ(VOP offs Constituting the VOP (image data), the key signal, size data (VOP size), and offset data (VOP offs
et)が復号され、画像再構成部73に供給される。 et) is decoded is supplied to the image reconstruction unit 73.

【0186】画像再構成部73では、VOP復号部72 [0186] The image reconstruction unit 73, VOP decoding section 72
1乃至72Nそれぞれからの出力に基づいて、元の画像が再構成される。 1 based on the output from each 72N, reconstructed original image. この再構成された画像は、例えば、モニタ74に供給されて表示される。 The reconstructed image is, for example, be displayed is supplied to the monitor 74.

【0187】次に、図17は、図16のVOP復号部7 [0187] Next, FIG. 17, VOP decoding unit 7 of FIG. 16
2nの基本的な構成例を示している。 It shows a basic configuration example of 2n.

【0188】逆多重化部71(図16)からのビットストリームは、逆多重化部81に入力され、そこで、キー信号情報と、動きおよびテクスチャの情報とが抽出される。 [0188] bit stream from the demultiplexer 71 (FIG. 16) is input to a demultiplexer 81 where the key signal information, and the information of the motion and texture are extracted. そして、キー信号情報はキー信号復号部82に供給され、また、動きおよびテクスチャの情報は画像信号復号部83に供給される。 The key signal information is supplied to a key signal decoding unit 82, also, information of the motion and texture is supplied to the image signal decoding unit 83. さらに、逆多重化部71では、 Further, the demultiplexer 71,
そこに入力されるビットストリームから、サイズデータ(VOP size)およびオフセットデータ(VOP offset)が抽出され、画像再構成部73(図16)に供給される。 From the bit stream input thereto, the size data (VOP size) and offset data (VOP offset) are extracted and supplied to the image reconstruction unit 73 (FIG. 16).

【0189】キー信号復号部82または画像信号復号部83では、キー信号情報、または動きおよびテクスチャの情報それぞれが復号され、その結果得られるキー信号、またはVOPの画像データ(輝度信号および色差信号)が、画像再構成部73に供給される。 [0189] In the key signal decoding unit 82 or the image signal decoding unit 83, the key signal information or the respective information of the motion and texture, it is decoded, the resulting key signal or VOP image data (luminance signal and color difference signals) of There is supplied to the image reconstruction unit 73.

【0190】なお、図3のキー信号符号化部12において、キー信号を、画像信号符号化部11において検出された動きベクトルにしたがって動き補償することにより、その符号化を行った場合には、画像信号復号部83 [0190] Incidentally, in the key signal encoding unit 12 of FIG. 3, the key signal by motion compensation according to the motion vector detected in the picture signal encoding unit 11, when performing the encoding, image signal decoding unit 83
において画像を復号するのに用いた動きベクトルは、キー信号復号部82に供給され、これにより、キー信号復号部82では、その動きベクトルを用いて、キー信号の復号が行われる。 Motion vectors used for decoding an image in, are supplied to the key signal decoding unit 82, thereby, the key signal decoding unit 82, using the motion vector, decoding the key signal.

【0191】次に、図18は、スケーラビリティを実現する、図16のVOP復号部72nの構成例を示している。 [0191] Next, FIG. 18, scalability, there is shown an exemplary configuration of a VOP decoder 72n of Figure 16.

【0192】逆多重化部71(図16)から供給されるビットストリームは、逆多重化部91に入力され、そこで、上位レイヤのVOPのビットストリームと、下位レイヤのVOPのビットストリームとに分離される。 [0192] bit stream supplied from the demultiplexer 71 (FIG. 16) is input to a demultiplexer 91 where it separates the bit stream of the VOP of the upper layer, the bit stream of the VOP of the lower layer It is. 上位レイヤのVOPのビットストリームは、遅延回路92において、下位レイヤ復号部95における処理の時間だけ遅延された後、上位レイヤ復号部93に供給され、また、下位レイヤのVOPのビットストリームは、下位レイヤ復号部95に供給される。 Bitstream of a VOP of the upper layer, the delay circuit 92, after being delayed by the time of the processing in the lower layer decoding unit 95 is supplied to the upper layer decoding unit 93, also, the bitstream of a VOP of the lower layer, the lower It is supplied to the layer decoding section 95.

【0193】下位レイヤ復号部95では、下位レイヤのビットストリームが復号され、その結果得られる下位レイヤの復号画像およびキー信号が解像度変換部94に供給される。 [0193] In the low-level-layer decoding unit 95, the lower layer bitstream is decoded, the decoded image and key signals of the lower layer obtained as a result is supplied to the resolution conversion unit 94. また、下位レイヤ復号部95は、下位レイヤのビットストリームを復号することにより得られるサイズデータFSZ_B、オフセットデータFPOS_B、 The lower layer decoding unit 95, the size data FSZ_B obtained by decoding the bit stream of the lower layer, offset data FPOS_B,
動きベクトル(MV)、予測モード、フラグCODなどの、上位レイヤのVOPを復号するのに必要な情報を、 Motion vector (MV), predictive mode, such as flags COD, information required for decoding the VOP of the upper layer,
上位レイヤ復号部93に供給する。 To be supplied to the high-level-layer decoding unit 93.

【0194】上位レイヤ復号部93では、遅延回路92 [0194] In the high-level-layer decoding unit 93, a delay circuit 92
を介して供給される上位レイヤのビットストリームが、 The upper layer of the bit stream supplied through the,
下位レイヤ復号部95および解像度変換部94の出力を必要に応じて参照することにより復号化され、その結果得られる上位レイヤの復号画像、キー信号、サイズデータFSZ_E、およびオフセットデータFPOS_Eが出力される。 Decoded by reference as needed output of the lower layer decoding unit 95 and the resolution conversion unit 94, the decoded image of the upper layer obtained as a result, the key signal is output size data FSZ_E, and offset data FPOS_E . さらに、上位レイヤ復号部93は、上位レイヤのビットストリームを復号することにより得られる倍率FRを、解像度変換部94に出力する。 Further, the high-level-layer decoding unit 93, the magnification FR, obtained by decoding the bit stream of the upper layer, and outputs the resolution conversion unit 94. 解像度変換部94では、上位レイヤ復号部93からの倍率FRを用いて、図4における解像度変換部24における場合と同様にして、下位レイヤの復号画像が変換される。 The resolution conversion unit 94, using the magnification FR from the upper layer decoding unit 93, in the same manner as in the resolution conversion unit 24 in FIG. 4, the decoded image of the lower layer is converted. この変換により得られる拡大画像は、上位レイヤ復号部93に供給され、上述したように、上位レイヤのビットストリームの復号に用いられる。 Expanded image obtained by this conversion is supplied to the upper layer decoding unit 93, as described above, is used to decode the upper layer bit stream.

【0195】次に、図19は、図18の下位レイヤ復号部95の構成例を示している。 [0195] Next, FIG. 19 shows a configuration example of a lower layer decoding unit 95 of FIG. 18. なお、図中、図43のデコーダにおける場合と対応する部分については、同一の符号を付してある。 In the figure, portions corresponding to those in the decoder of Figure 43 are denoted by the same reference numerals. 即ち、下位レイヤ復号部95は、キー信号復号部108が新たに設けられている他は、図4 That is, the lower layer decoding unit 95, in addition to the key signal decoding unit 108 is newly provided, FIG. 4
3のデコーダと基本的に同様に構成されている。 3 is a decoder basically same structure.

【0196】逆多重化部91からの下位レイヤのビットストリームは、バッファ101に供給されて記憶される。 [0196] bit stream of the lower layer from the inverse multiplexing section 91, is supplied to and stored in the buffer 101. IVLC器102は、その後段のブロックの処理状態に対応して、バッファ101からビットストリームを適宜読み出し、そのビットストリームを可変長復号化することで、量子化係数、動きベクトル、予測モード、量子化ステップ、キー信号の符号化データ、サイズデータFSZ_B、オフセットデータFPOS_B、およびフラグCODなどを分離する。 IVLC unit 102, in response to processing status of the subsequent block is read from the buffer 101 to the bit stream as appropriate, by variable length decoding the bit stream, the quantized coefficients, motion vector, predictive mode, quantization step key signal of the coded data, size data FSZ_B, offset data FPOS_B, and flag COD, etc. separated. 量子化係数および量子化ステップは、逆量子化器103に供給され、動きベクトルおよび予測モードは、動き補償器107と上位レイヤ復号部93(図18)に供給される。 Quantized coefficients and quantization step are supplied to an inverse quantizer 103, the motion vector and predictive mode are supplied to a motion compensator 107 and the upper layer decoding unit 93 (FIG. 18). また、サイズデータFSZ_BおよびオフセットデータFPOS_Bは、動き補償器107、キー信号復号部108、画像再構成部73(図16)、および上位レイヤ復号部93に供給され、フラグCODは、上位レイヤ復号部93に供給される。 The size data FSZ_B and offset data FPOS_B a motion compensator 107, key signal decoding unit 108, an image reconstruction unit 73 (FIG. 16), and is supplied to the upper layer decoding unit 93, flag COD, the upper layer decoding unit It is supplied to the 93. さらに、キー信号の符号化データは、キー信号復号部108に供給される。 Furthermore, the encoded data of the key signal is supplied to a key signal decoding unit 108.

【0197】逆量子化器103、IDCT器104、演算器105、フレームメモリ106、または動き補償器107では、図11の下位レイヤ符号化部25の逆量子化器38、IDCT器39、演算器40、フレームメモリ41、または動き補償器42における場合とそれぞれ同様の処理が行われることで、下位レイヤのVOPが復号され、画像再構成部73、上位レイヤ復号部93、および解像度変換部94(図18)に供給される。 [0197] The inverse quantizer 103, IDCT unit 104, arithmetic unit 105, frame memory 106 or the motion compensator 107, the inverse quantizer 38 in the lower layer encoding unit 25 of FIG. 11, IDCT unit 39, arithmetic unit 40, by the same processes as in the frame memory 41 or the motion compensator 42, is performed, VOP of the lower layer is decoded, the image reconstruction unit 73, the high-level-layer decoding unit 93 and the resolution converter 94, ( is supplied to the Figure 18).

【0198】また、キー信号復号部108では、やはり図11の下位レイヤ符号化部25のキー信号復号部44 [0198] Further, in the key signal decoding unit 108, also the key signal decoding unit 44 of the lower layer encoding unit 25 of FIG. 11
における場合と同様の処理が行われることで、キー信号の符号化データが復号され、その結果得られるキー信号が、画像再構成部73、上位レイヤ復号部93、および解像度変換部94に供給される。 By processing similar to that performed in, the decrypted encoded data of the key signal, the key signal obtained as a result is supplied to the image reconstruction unit 73, the high-level-layer decoding unit 93 and the resolution converter 94, that.

【0199】次に、図20は、図18の上位レイヤ復号部93の構成例を示している。 [0199] Next, FIG. 20 shows a configuration example of the high-level-layer decoding unit 93 of FIG. 18. なお、図中、図43における場合と対応する部分については、同一の符号を付してある。 In the figure, portions corresponding to those in FIG 43 are denoted by the same reference numerals. 即ち、上位レイヤ復号部93は、キー信号復号部111およびフレームメモリ112が新たに設けられている他は、基本的に、図43のエンコーダと同様に構成されている。 That is, the high-level-layer decoding unit 93, in addition to the key signal decoding unit 111 and the frame memory 112 is newly provided, basically has the same configuration as the encoder of FIG 43.

【0200】逆多重化部91からの上位レイヤのビットストリームは、バッファ101を介してIVLC器10 [0200] bitstream of the upper layer from the inverse multiplexing section 91, IVLC unit 10 via the buffer 101
2に供給される。 It is supplied to the 2. IVLC器102は、上位レイヤのビットストリームを可変長復号化することで、量子化係数、動きベクトル、予測モード、量子化ステップ、キー信号の符号化データ、サイズデータFSZ_E、オフセットデータFPOS_E、倍率FR、フラグref_l IVLC unit 102, a bit stream of the upper layer by variable length decoding, quantized coefficients, a motion vector, prediction mode, quantization step, the key signal of the coded data, size data FSZ_E, offset data FPOS_E, magnification FR , flag ref_l
ayer_id,ref_select_code,C ayer_id, ref_select_code, C
OD,MODBなどを分離する。 OD, to separate the like MODB. 量子化係数および量子化ステップは、図19における場合と同様に、逆量子化器103に供給され、動きベクトルおよび予測モードは、動き補償器107に供給される。 Quantized coefficients and quantization step, as in FIG. 19, is supplied to an inverse quantizer 103, the motion vector and predictive mode are supplied to a motion compensator 107. また、サイズデータFSZ_EおよびオフセットデータFPOS_Eは、 The size data FSZ_E and offset data FPOS_E are
動き補償器107、キー信号復号部108、および画像再構成部73(図16)に供給され、フラグCOD,M Is supplied to the motion compensator 107, key signal decoding unit 108 and the image reconstruction unit 73, (FIG. 16), flag COD, M
ODB,ref_layer_id、およびref_s ODB, ref_layer_id, and ref_s
elect_codeは、動きベクトル検出器107に供給される。 elect_code is supplied to the motion vector detector 107. さらに、キー信号の符号化データは、キー信号復号部111に供給され、倍率FRは、動き補償器107および解像度変換部94(図18)に供給される。 Furthermore, the encoded data of the key signal is supplied to a key signal decoding unit 111, the magnification FR is supplied to the motion compensator 107 and the resolution converter 94 (Fig. 18).

【0201】なお、動き補償器107には、上述したデータの他、下位レイヤ復号部95(図18)から、下位レイヤの動きベクトル、フラグCOD、サイズデータF [0201] Note that the motion compensator 107, the other data described above, from the lower layer decoding unit 95 (FIG. 18), the motion vector of the lower layer, the flag COD, size data F
SZ_B、およびオフセットデータFPOS_Bが供給されるようになされている。 SZ_B, and offset data FPOS_B are adapted to be supplied. また、フレームメモリ11 In addition, the frame memory 11
2には、解像度変換部94から拡大画像が供給される。 The 2, an enlarged image is supplied from the resolution conversion unit 94.

【0202】逆量子化器103、IDCT器104、演算器105、フレームメモリ106、動き補償器10 [0202] The inverse quantizer 103, IDCT unit 104, arithmetic unit 105, frame memory 106, motion compensator 10
7、またはフレームメモリ112では、図12の上位レイヤ符号化部23の逆量子化器38、IDCT器39、 7 or the frame in the memory 112, the inverse quantizer 38 in the upper layer encoding unit 23 of FIG. 12, IDCT unit 39,
演算器40、フレームメモリ41、動き補償器42、またはフレームメモリ52における場合とそれぞれ同様の処理が行われることで、上位レイヤのVOPが復号され、画像再構成部73に供給される。 Calculator 40, a frame memory 41, by the same processes as in the motion compensator 42 or the frame memory 52, is performed, VOP in the enhancement layer is decoded and supplied to the image reconstruction unit 73.

【0203】また、キー信号復号部111では、やはり図12の上位レイヤ符号化部23のキー信号復号部53 [0203] Further, the key signal decoding unit 53 of the high-level-layer encoding unit 23 of the key signal decoding unit 111, still 12
における場合と同様の処理が行われることで、キー信号の符号化データが復号され、その結果得られるキー信号が、画像再構成部73に供給される。 By processing similar to that performed in, the decrypted encoded data of the key signal, the key signal obtained as a result is supplied to the image reconstruction unit 73.

【0204】ここで、以上のように構成される上位レイヤ復号部93および下位レイヤ復号部95を有するVO [0204] Here, VO having a high-level-layer decoding unit 93 and lower layer decoding unit 95 configured as described above
P復号部72nにおいては、上位レイヤについての復号画像、キー信号、サイズデータFSZ_E、およびオフセットデータFPOS_E(以下、適宜、これらをすべて含めて、上位レイヤデータという)と、下位レイヤについての上位レイヤについての復号画像、キー信号、サイズデータFSZ_B、およびオフセットデータFPO In P decoder 72n, the decoded image, the key signal for the upper layer, size data FSZ_E, and offset data FPOS_E (hereinafter, appropriately, including all of these, the upper of layer data) and for the upper layer of the lower layer decoded picture, key signal, size data FSZ_B, and offset data FPO
S_B(以下、適宜、これらをすべて含めて、下位レイヤデータという)が得られるが、画像再構成部73では、この上位レイヤデータまたは下位レイヤデータから、例えば、次のようにして画像が再構成されるようになされている。 S_B (hereinafter, appropriately, including all of these, as lower layer data) is obtained, the image reconstruction unit 73, from the upper layer data or lower layer data, for example, reconstructed image as follows It is adapted to be.

【0205】即ち、例えば、第1の空間スケーラビリティ(図5)が行われた場合(入力されたVOP全体が上位レイヤとされるとともに、そのVOP全体を縮小したものが下位レイヤされた場合)において、下位レイヤデータおよび上位レイヤデータの両方のデータが復号されたときには、画像再構成部73は、上位レイヤデータのみに基づき、サイズデータFSZ_Eに対応する大きさの上位レイヤの復号画像(VOP)を、必要に応じて、 [0205] That is, for example, in the first spatial scalability (Figure 5) is when done (if with whole inputted VOP is the upper layer, obtained by reducing the entire VOP is the lower layer) , when both of the lower layer data and higher layer data in the data is decoded, the image reconstruction unit 73, based only on the upper layer data, the decoded image of the size of the upper layer corresponding to the size data FSZ_E the (VOP) ,If necessary,
そのキー信号で抜き出し、オフセットデータFPOS_ Withdrawn at the key signal, the offset data FPOS_
Eによって示される位置に配置する。 A position indicated by the E. また、例えば、上位レイヤのビットストリームにエラーが生じたり、また、モニタ74が、低解像度の画像にしか対応していないため、下位レイヤデータのみの復号が行われたときには、画像再構成部73は、その下位レイヤデータのみに基づき、サイズデータFSZ_Bに対応する大きさの上位レイヤの復号画像(VOP)を、必要に応じて、そのキー信号で抜き出し、オフセットデータFPOS_Bによって示される位置に配置する。 Further, for example, or an error occurs in the bit stream of the upper layer, also monitor 74, since only support low-resolution image, when the decoding of only the lower layer data is performed, the image reconstruction unit 73 is based only on the lower layer data, the decoded image of the size of the upper layer corresponding to the size data FSZ_B (VOP), if necessary, withdrawn at the key signal, the position indicated by offset data FPOS_B .

【0206】また、例えば、第2の空間スケーラビリティ(図6)が行われた場合(入力されたVOPの一部が上位レイヤとされるとともに、そのVOP全体を縮小したものが下位レイヤとされた場合)において、下位レイヤデータおよび上位レイヤデータの両方のデータが復号されたときには、画像再構成部73は、サイズデータF [0206] Also, for example, the second spatial scalability is part of a VOP (Figure 6) is the case (inputs made are upper layer, obtained by reducing the entire VOP is set to the lower layer in the case), when both the base layer data and higher layer data in the data is decoded, the image reconstruction unit 73, the size data F
SZ_Bに対応する大きさの下位レイヤの復号画像を、 The decoded image of the lower layer of the size corresponding to SZ_B,
倍率FRにしたがって拡大し、その拡大画像を生成する。 Expanding accordance magnification FR, it generates the enlarged image. さらに、画像再構成部73は、オフセットデータF Further, the image reconstruction unit 73, offset data F
POS_BをFR倍し、その結果得られる値に対応する位置に、拡大画像を配置する。 POS_B the multiplied FR, at a position corresponding to a value obtained as a result of placing the enlarged image. そして、画像再構成部7 Then, the image reconstruction unit 7
3は、サイズデータFSZ_Eに対応する大きさの上位レイヤの復号画像を、オフセットデータFPOS_Eによって示される位置に配置する。 3, the decoded image of the size of the upper layer corresponding to the size data FSZ_E, the position indicated by offset data FPOS_E.

【0207】この場合、上位レイヤの復号画像の部分が、それ以外の部分に比較して高い解像度で表示されることになる。 [0207] In this case, part of the decoded image of the upper layer, to be displayed at a high compared to other portions resolution.

【0208】なお、上位レイヤの復号画像を配置する場合、その復号画像と、拡大画像とは合成されることになるが、この合成は、上位レイヤのキー信号を用いて行われる。 [0208] In the case of placing the decoded image of the upper layer, and the decoded image, but will be synthesized with the enlarged image, the synthesis is carried out using key signals of the upper layer.

【0209】また、図18(図16)には図示しなかったが、上位レイヤ復号部93(VOP復号部72n)から画像再構成部73に対しては、上述したデータの他、 [0209] Also, although not shown in FIG. 18 (FIG. 16), with respect to the upper layer decoding unit 93 (VOP decoding unit 72n) image reconstruction unit 73 from the other data described above,
倍率FRも供給されるようになされており、画像再構成部73は、これを用いて、拡大画像を生成するようになされている。 Magnification FR is also adapted to be supplied, the image reconstruction unit 73, by using this, it has been made to produce an enlarged image.

【0210】一方、第2の空間スケーラビリティが行われた場合において、下位レイヤデータのみが復号されたときには、上述の第1の空間スケーラビリティが行われた場合と同様にして、画像が再構成される。 [0210] On the other hand, in the case where the second spatial scalability is performed, when only the lower layer data is decoded, as in the case where the first spatial scalability described above is performed, an image is reconstructed .

【0211】さらに、第3の空間スケーラビリティ(図7、図8)が行われた場合(入力されたVOPを構成する物体ごとに、その物体全体を上位レイヤとするとともに、その物体全体を間引いたものを下位レイヤとした場合)においては、上述の第2の空間スケーラビリティが行われた場合と同様にして、画像が再構成される。 [0211] Further, a third spatial scalability (Figure 7, Figure 8) for each object constituting the VOP of the case (which is input is performed, with the entire body and upper layer were thinned entire object in the case of the lower layer) things, as in the case where the second spatial scalability described above has been performed, the image is reconstructed.

【0212】上述したように、オフセットデータFPO [0212] As described above, offset data FPO
S_BおよびFPOS_Eは、下位レイヤの拡大画像および上位レイヤの画像を構成する、対応する画素どうしが、絶対座標系において同一の位置に配置されるようになっているため、以上のように画像を再構成することで、正確な(位置ずれのない)画像を得ることができる。 S_B and FPOS_E constitute an image of the enlarged image and the upper layer of the lower layer, the corresponding pixel to each other is because it is adapted to be located at the same position in the absolute coordinate system, the image as described above re by structure, it is possible to obtain an accurate (no positional displacement) image.

【0213】次に、スケーラビリティにおけるシンタクスについて、例えば、MPEG4VM(Verification M [0213] Next, the syntax in scalability, for example, MPEG4VM (Verification M
odel)を例に説明する。 odel) will be described as an example.

【0214】図21は、スケーラビリティの符号化によって得られるビットストリームの構成を示している。 [0214] Figure 21 shows the structure of a bit stream obtained by the encoding scalability.

【0215】ビットストリームは、VS(Video Sessio [0215] The bit stream is, VS (Video Sessio
n Class)を単位として構成され、各VSは、1以上のVO(Video Object Class)から構成される。 n Class) is configured as a unit, each VS is composed of one or more VO (Video Object Class). そして、 And,
VOは、1以上のVOL(Video Object Layer Class) VO is, one or more of the VOL (Video Object Layer Class)
から構成され(画像を階層化しないときは1のVOLで構成され、画像を階層化する場合には、その階層数だけのVOLで構成される)、VOLは、VOPから構成される。 Constructed from (the image is composed of one of the VOL When not hierarchical, in the case of hierarchical image is composed of VOL only the hierarchy number), VOL is comprised of VOP.

【0216】図22または図23は、VSまたはVOのシンタクスをそれぞれ示している。 [0216] Figure 22 or Figure 23 illustrates VS or VO syntax, respectively. VOは、画像全体または画像の一部(物体)のシーケンスに対応するビットストリームであり、従って、VSは、そのようなシーケンスの集合で構成される(よって、VSは、例えば、一本の番組に相当する)。 VO is a bit stream corresponding to the sequence of a portion of the entire image or image (object), therefore, VS is composed of a set of such sequences (Thus, VS, for example, a single program It corresponds to).

【0217】図24は、VOLのシンタクスを示している。 [0217] FIG. 24 illustrates the syntax of the VOL.

【0218】VOLは、スケーラビリティのためのクラスであり、video_object_layer_id(図24において、 [0218] VOL is a class for scalability, in video_object_layer_id (24,
A1で示す部分)で示される番号によって識別される。 It is identified by a number indicated by the part) indicated by A1.
即ち、例えば、下位レイヤのVOLについてのvideo_ob That is, for example, video_ob for the VOL of the lower layer
ject_layer_idは0とされ、また、例えば、上位レイヤのVOLについてのvideo_object_layer_idは1とされる。 ject_layer_id is 0, Also, for example, video_object_layer_id for the upper layer VOL is set to 1. なお、上述したように、スケーラブルのレイヤの数は2に限られることなく、3以上の任意とすることができる。 As described above, the number of scalable layers is not limited to two and can be three or more optionally.

【0219】また、各VOLについて、それが画像全体であるのか、画像の一部であるのかは、video_object_l [0219] Also, for each VOL, whether it is whether an entire image, in the range of part of the image, Video_object_l
ayer_shape(図24において、A2で示す部分)で識別される。 (In FIG. 24, the portion indicated by A2) ayer_shape identified by. このvideo_object_layer_shapeは、VOLの形状を示すフラグで、例えば、以下のように設定される。 This video_object_layer_shape is a flag indicating the shape of the VOL, for example, it is set as follows.

【0220】即ち、VOLの形状が長方形状であるとき、video_object_layer_shapeは、例えば「00」とされる。 [0220] That is, when the shape of the VOL is rectangular, video_object_layer_shape is, for example, "00". また、VOLが、ハードキー(0または1のうちのいずれか一方の値をとる2値(Binary)の信号)によって抜き出される領域の形状をしているとき、video_ob Further, when the VOL is in the shape of regions withdrawn by (2 values ​​taking one value of 0 or 1 (signal Binary)) hard keys, Video_ob
ject_layer_shapeは、例えば「01」とされる。 ject_layer_shape is, for example, "01". さらに、VOLが、ソフトキー(0乃至1の範囲の連続した値(Gray-Scale)をとることが可能な信号)によって抜き出される領域の形状をしているとき(ソフトキーを用いて合成されるものであるとき)、video_object_layer Furthermore, VOL is synthesized using (soft key while the shape of the region to be extracted by the soft key (continuous values ​​ranging from 0 to 1 (Gray-Scale) that can take a signal) shall is when a), video_object_layer
_shapeは、例えば「10」とされる。 _shape is, for example, "10".

【0221】ここで、video_object_layer_shapeが「0 [0221] In this case, video_object_layer_shape is "0
0」とされるのは、VOLの形状が長方形状であり、かつ、そのVOLの絶対座標形における位置および大きさが、時間とともに変化しない、即ち、一定の場合である。 0 "and is the is given to the shape of the VOL is rectangular, and the position and size in the absolute coordinate form of the VOL does not change with time, that is, in certain cases. なお、この場合、その大きさ(横の長さと縦の長さ)は、video_object_layer_widthとvideo_object_lay In this case, the size (length and vertical length of the horizontal) is, video_object_layer_width and video_object_lay
er_height(図24において、A7で示す部分)によって示される。 (In FIG. 24, the portion indicated by A7) er_height indicated by. video_object_layer_widthおよびvideo_ob video_object_layer_width and video_ob
ject_layer_heightは、いずれも10ビットの固定長のフラグで、video_object_layer_shapeが「00」の場合には、最初に、一度だけ伝送される(これは、video_ob ject_layer_height are both 10-bit fixed-length flags of the case video_object_layer_shape is "00", the first, once transmitted (which, Video_ob
ject_layer_shapeが「00」の場合、上述したように、 If ject_layer_shape is "00", as described above,
VOLの絶対座標系における大きさが一定であるからである)。 Since the magnitude is constant it is in the absolute coordinate system of the VOL).

【0222】また、VOLが、下位レイヤまたは上位レイヤのうちのいずれであるかは、1ビットのフラグであるscalability(図24において、A3で示す部分)によって示される。 [0222] Also, VOL is, whether it is any of the lower layer or upper layer, (in FIG. 24, the portion indicated by A3) scalability is one-bit flag indicated by. VOLが下位レイヤの場合、scalabil If the VOL is the lower layer, scalabil
ityは、例えば1とされ、それ以外の場合、scalability ity is, for example, a 1, otherwise, scalability
は、例えば0とされる。 Is 0, for example.

【0223】さらに、VOLが、自身以外のVOLにおける画像を参照画像として用いる場合、その参照画像が属するVOLは、上述したように、ref_layer_id(図2 [0223] Furthermore, when used as VOL is the reference image an image in VOL other than itself, VOL which the reference image belongs, as described above, ref_layer_id (2
4において、A4で示す部分)で表される。 In 4, represented by the portion) indicated by A4. なお、ref_ It should be noted, ref_
layer_idは、上位レイヤについてのみ伝送される。 layer_id is transmitted only for the upper layer.

【0224】また、図24においてA5で示すhor_samp [0224] In addition, hor_samp indicated by A5 in FIG. 24
ling_factor_nとhor_sampling_factor_mは、下位レイヤのVOPの水平方向の長さに対応する値と、上位レイヤのVOPの水平方向の長さに対応する値をそれぞれ示す。 ling_factor_n and hor_sampling_factor_m shows a value corresponding to the horizontal length of the VOP in the lower layer, horizontal VOP of the upper layer a value corresponding to the length, respectively. 従って、下位レイヤに対する上位レイヤの水平方向の長さ(水平方向の解像度の倍率)は、式hor_sampling Therefore, (magnification of horizontal resolution) horizontal length of the upper layer for the lower layer, wherein hor_sampling
_factor_n/hor_sampling_factor_mで与えられる。 Given by _factor_n / hor_sampling_factor_m.

【0225】さらに、図24においてA6で示すver_sa [0225] Further, Ver_sa indicated by A6 in FIG. 24
mpling_factor_nとver_sampling_factor_mは、下位レイヤのVOPの垂直方向の長さに対応する値と、上位レイヤのVOPの垂直方向の長さに対応する値をそれぞれ示す。 mpling_factor_n and ver_sampling_factor_m shows a value corresponding to the length of the vertical direction of a VOP of the lower layer, the VOP of the upper layer in the vertical direction value corresponding to the length, respectively. 従って、下位レイヤに対する上位レイヤの垂直方向の長さ(垂直方向の解像度の倍率)は、式ver_sampling Therefore, (magnification of vertical resolution) vertical length of the upper layer for the lower layer, wherein ver_sampling
_factor_n/ver_sampling_factor_mで与えられる。 Given by _factor_n / ver_sampling_factor_m.

【0226】次に、図25は、VOP(Video Object P [0226] Next, FIG. 25, VOP (Video Object P
lane Class)のシンタクスを示している。 It shows the syntax of the lane Class).

【0227】VOPの大きさ(横と縦の長さ)は、例えば、10ビット固定長のVOP_widthとVOP_height(図2 [0227] The size of the VOP (the horizontal and vertical length) are, for example, a 10-bit fixed-length VOP_width and VOP_height (Figure 2
5において、B1で示す部分)で表される。 In 5, represented by the portion) indicated by B1. また、VO In addition, VO
Pの絶対座標系における位置は、例えば、10ビット固定長のVOP_horizontal_spatial_mc_ref(図25において、B2で示す部分)とVOP_vertical_mc_ref(図25 Position in the absolute coordinate system P, for example, (in FIG. 25, the portion indicated by B2) 10-bit fixed-length VOP_horizontal_spatial_mc_ref and VOP_vertical_mc_ref (Figure 25
において、B3で示す部分)で表される。 In, represented by portions) indicated by B3. なお、VOP_wi It should be noted, VOP_wi
dthまたはVOP_heightは、VOPの水平方向または垂直方向の長さをそれぞれ表し、これらは、上述のサイズデータFSZ_BやFSZ_Eに相当する。 dth or VOP_height represent the horizontal or vertical length of a VOP, respectively, which correspond to the size data FSZ_B and FSZ_E described above. また、VOP_ho In addition, VOP_ho
rizontal_spatial_mc_refまたはVOP_vertical_mc_ref rizontal_spatial_mc_ref or VOP_vertical_mc_ref
は、VOPの水平方向または垂直方向の座標(xまたはy座標)をそれぞれ表し、これらは、上述のオフセットデータFPOS_BやFPOS_Eに相当する。 Represents the horizontal or vertical coordinates VOP the (x or y-coordinate), respectively, they correspond to the above-described offset data FPOS_B and FPOS_E.

【0228】VOP_width,VOP_height,VOP_horizontal_ [0228] VOP_width, VOP_height, VOP_horizontal_
spatial_mc_ref、およびVOP_vertical_mc_refは、video spatial_mc_ref, and VOP_vertical_mc_ref is, video
_object_layer_shapeが「00」以外の場合にのみ伝送される。 _object_layer_shape is transmitted only in the case of other than "00". 即ち、video_object_layer_shapeが「00」の場合、上述したように、VOPの大きさおよび位置はいずれも一定であるから、VOP_width,VOP_height,VOP_h That is, when video_object_layer_shape is "00", as described above, since the size and position of a VOP is constant both, VOP_width, VOP_height, VOP_h
orizontal_spatial_mc_ref、およびVOP_vertical_mc_re orizontal_spatial_mc_ref, and VOP_vertical_mc_re
fは伝送する必要がない。 f there is no need to be transmitted. この場合、受信側では、VO In this case, on the reception side, VO
Pは、その左上の頂点が、例えば、絶対座標系の原点に一致するように配置され、また、その大きさは、図24 P is the vertex of the upper left, for example, is arranged to match the origin of the absolute coordinate system, also, the size thereof, FIG. 24
で説明したvideo_object_layer_widthおよびvideo_obje In video_object_layer_width described and video_obje
ct_layer_heightから認識される。 It is recognized from ct_layer_height.

【0229】図25においてB4で示すref_select_cod [0229] ref_select_cod indicated by B4 in FIG. 25
eは、図15で説明したように、参照画像として用いる画像を表すもので、同図に示すように、VOPのシンタクスにおいて規定されている。 e, as described in FIG. 15, which represents an image used as a reference image, as shown in the figure, it is defined in the syntax of VOP.

【0230】次に、図26は、VOP(Video Object P [0230] Next, FIG. 26, VOP (Video Object P
lane Class)のシンタクスの他の例を示している。 It shows another example of the syntax of the lane Class).

【0231】この実施の形態においても、図25における場合と同様に、VOPの大きさおよび位置に関する情報は、video_object_layer_shapeが「00」以外の場合に伝送される。 [0231] Also in this embodiment, as in FIG. 25, the information on the size and position of the VOP, is transmitted when video_object_layer_shape is not "00".

【0232】但し、この実施の形態では、video_object [0232] However, in this embodiment, video_object
_layer_shapeが「00」以外の場合、今回伝送するVO If _layer_shape is other than "00", VO to be transmitted this time
Pの大きさが、前回伝送したVOPの大きさと等しいかどうかを示す1ビットのフラグload_VOP_size(図26 P size is, the last transmission was VOP size and equal whether 1-bit flag load_VOP_size indicating whether (Figure 26
において、C1で示す部分)が伝送される。 In the portion indicated by C1) it is transmitted. このload_V This load_V
OP_sizeは、今回のVOPの大きさが、直前に復号化されるVOPの大きさと等しい場合、または等しくない場合、例えば、それぞれ0または1とされる。 OP_size the magnitude of the current VOP is equal to the size of VOP to be decoded immediately before, or not equal, for example, are respectively 0 or 1.

【0233】そして、load_VOP_sizeが0の場合、VOP_w [0233] and, if load_VOP_size is 0, VOP_w
idth,VOP_height(図26において、C2で示す部分) IDTH, VOP_height (in FIG. 26, the portion indicated by C2)
は伝送されず、また、load_VOP_sizeが1の場合のみ、V Not transmitted, and when load_VOP_size is 1 only, V
OP_width,VOP_heightは伝送される。 OP_width, VOP_height is transmitted. ここで、VOP_widt Here, VOP_widt
h,VOP_heightは、図25で説明したものと同様のものである。 h, VOP_height is the same as that described with reference to FIG. 25.

【0234】なお、図25や図26において、VOP_widt [0234] It should be noted that, in FIGS. 25 and 26, VOP_widt
hまたはVOP_heightとしては、今回のVOPの横の長さまたは縦の長さと、直前に復号されるVOPの横の長さまたは縦の長さとの差分値(以下、適宜、大きさ差分という)それぞれを用いることが可能である。 The h or VOP_height, the length or longitudinal length of the side of this VOP, the difference value between the horizontal length or the vertical length of the VOP to be decoded immediately before (hereinafter referred to as size difference), respectively it is possible to use.

【0235】実際の画像では、VOPの大きさが変化する頻度はそれほど多くなく、従って、load_VOP_sizeが1の場合のみ、VOP_width,VOP_heightを伝送するようにすることで、冗長なビットを削減することが可能となる。 [0235] In an actual image, the frequency of the magnitude of the VOP is changed is not so much, therefore, if load_VOP_size is 1 only, VOP_width, by so as to transmit the VOP_height, is possible to reduce the redundant bits It can become. また、大きさ差分を用いる場合には、さらに、情報量の低減化を図ることが可能となる。 In the case of using the size difference, further, it is possible to achieve a reduction in information amount.

【0236】なお、大きさ差分を用いる場合、その算出は、図11および図12におけるVLC器36において行われ、さらに、このVLC器36では、大きさ差分が、例えば可変長符号化されて出力される。 [0236] In the case of using the size difference, the calculation is performed in the VLC unit 36 ​​in FIGS. 11 and 12, further, in the VLC unit 36, the size difference, for example, are variable-length encoded output It is. また、この場合、図19および図20のIVLC器102では、大きさ差分と、直前に復号されたVOPの大きさとを加算することで、今回復号するVOPの大きさが認識される。 In this case, the IVLC unit 102 of FIG. 19 and FIG. 20, by adding the size difference, the magnitude of the VOP which has been decoded immediately before, the size of the VOP to be decoded this time is recognized.

【0237】一方、VOPの位置に関する情報については、絶対座標系における座標そのものではなく、今回のVOPの座標と直前に復号されるVOP(前回のVO [0237] On the other hand, the information relating to the position of the VOP, not the coordinates themselves in the absolute coordinate system, VOP to be decoded coordinates and the immediately preceding the current VOP (previous VO
P)の座標との差分値(以下、適宜、位置差分という) Difference value between the coordinates P) (hereinafter referred to as position difference)
が、diff_VOP_horizontal_ref,diff_VOP_vertical_ref There, diff_VOP_horizontal_ref, diff_VOP_vertical_ref
(図26において、C3で示す部分)によって伝送される。 (In FIG. 26, the portion indicated by C3) is transmitted by.

【0238】ここで、直前に復号されるVOPの絶対座標系におけるxまたはy座標をVOP_horizontal_mc_spat [0238] VOP_horizontal_mc_spat here, x or y coordinate in the absolute coordinate system of the VOP to be decoded immediately before
ial_ref_prevまたはVOP_vertical_mc_spatial_ref_prev ial_ref_prev or VOP_vertical_mc_spatial_ref_prev
と表すとき、diff_VOP_horizontal_refまたはdiff_VOP_ When expressed as, diff_VOP_horizontal_ref or diff_VOP_
vertical_refは、図11および図12におけるVLC器36において、図25に示したVOP_hirizontal_mc_spat vertical_ref, in the VLC unit 36 ​​in FIG. 11 and FIG. 12, shown in FIG. 25 VOP_hirizontal_mc_spat
ial_refまたはVOP_vertical_mc_spatial_refを用い、次式にしたがって、それぞれ計算される。 Using ial_ref or VOP_vertical_mc_spatial_ref, according to the following equation, it is calculated.

【0239】diff_VOP_horizontal_ref=VOP_hirizontal [0239] diff_VOP_horizontal_ref = VOP_hirizontal
_mc_spatial_ref -VOP_horizontal_mc_spatial_ref_prev diff_VOP_vertical_ref=VOP_vertical_mc_spatial_ref -VOP_vertical_mc_spatial_ref_prev _mc_spatial_ref -VOP_horizontal_mc_spatial_ref_prev diff_VOP_vertical_ref = VOP_vertical_mc_spatial_ref -VOP_vertical_mc_spatial_ref_prev

【0240】なお、図11および図12におけるVLC [0240] Incidentally, VLC in FIGS. 11 and 12
器36では、diff_VOP_horizontal_ref,diff_VOP_vert In vessel 36, diff_VOP_horizontal_ref, diff_VOP_vert
ical_refは、それぞれ可変長符号化されて出力される。 ical_ref is output are respectively variable length coding.

【0241】即ち、VLC器36では、まず、diff_VOP [0241] That is, in the VLC unit 36, first, diff_VOP
_horizontal_refまたはdiff_VOP_vertical_refに対応して、図26においてC4で示す位置に配置されるdiff_s In response to _horizontal_ref or diff_VOP_vertical_ref, diff_s which is arranged at a position indicated by C4 in FIG. 26
ize_horizontalまたはdiff_size_verticalが、図27に示すテーブルにしたがって求められ、可変長符号(Cod ize_horizontal or diff_size_vertical is determined according to the table shown in FIG. 27, a variable length code (Cod
e)にそれぞれ変換される。 They are respectively converted to e). さらに、VLC器36では、diff_VOP_horizontal_refまたはdiff_VOP_vertical Moreover, the VLC unit 36, Diff_VOP_horizontal_ref or diff_VOP_vertical
_refが、diff_size_horizontalまたはdiff_size_vertic _ref is, diff_size_horizontal or diff_size_vertic
alに対応して、図28に示すテーブルにしたがって可変長符号(Code)にそれぞれ変換される。 In response to al, are respectively converted into a variable length code (Code) according to the table shown in FIG. 28. そして、このように可変長符号に変換されたdiff_VOP_horizontal_re Then, the thus converted into variable length codes diff_VOP_horizontal_re
f,diff_VOP_vertical_ref,diff_size_horizontal、およびdiff_size_verticalが、他のデータに多重化されて伝送される。 f, diff_VOP_vertical_ref, diff_size_horizontal, and diff_size_vertical are transmitted multiplexed in the other data.

【0242】この場合、図19および図20のIVLC [0242] IVLC in this case, FIGS. 19 and 20
器102では、diff_size_horizontalまたはdiff_size_ In vessel 102, diff_size_horizontal or diff_size_
verticalから、diff_VOP_horizontal_refまたはdiff_VO From vertical, diff_VOP_horizontal_ref or diff_VO
P_vertical_refの可変長符号の長さが認識され、その認識結果に基づいて、それぞれ可変長復号される。 The length of the variable length code P_vertical_ref is recognized, on the basis of the recognition result are respectively variable length decoding.

【0243】以上のように、位置差分を伝送する場合においは、図25における場合に比較して、やはり情報量を低減することが可能となる。 [0243] As described above, the smell when transmitting the position difference, as compared with the case in FIG. 25, it is possible also to reduce the amount of information.

【0244】なお、図26においてC5で示すref_sele [0244] Incidentally, Ref_sele indicated by C5 in FIG. 26
ct_codeは、図25で説明したものと同様のものである。 ct_code is similar to that described in Figure 25.

【0245】次に、図29は、マクロブロックのシンタクスを示している。 [0245] Next, FIG. 29 shows the syntax of macroblock.

【0246】まず、図29(A)は、IまたはPピクチャ(VOP)を構成するマクロブロックのシンタクスを示しており、先頭のfirst_MMR_codeの後に配置されるフラグCODは、そのCODより後に配置されているデータがあるかどうかを示す。 [0246] First, FIG. 29 (A) shows the syntax of macroblock constituting an I or P-picture (VOP), flag COD, which is arranged after the beginning of first_MMR_code is arranged after that COD indicating whether or not there is there data.

【0247】即ち、図11の下位レイヤ符号化部25および図12の上位レイヤ符号化部23を構成するVLC [0247] That is, VLC constituting the upper layer encoding unit 23 of the lower layer encoding unit 25 and 12 in FIG. 11
器36は、IまたはPピクチャを構成するマクロブロックについて得られるDCT係数(DCT係数の量子化結果)が、すべて0であり、かつその動きベクトルが0のとき、そのIまたはPピクチャのマクロブロックをスキップマクロブロックとし、この場合、CODを1とする。 Vessel 36, DCT coefficients obtained for a macroblock constituting an I or P-picture (result of quantization of the DCT coefficients) are all 0, and when the motion vector is 0, the macro block in the I or P-picture It was a skip macro-block, in this case, a 1 COD. 従って、CODが1の場合には、そのマクロブロックについて伝送すべきデータが存在しないため、フラグCODより後のデータは伝送されない。 Therefore, if the COD is 1, since the macro-block data to be transmitted does not exist for the data after the flag COD is not transmitted.

【0248】一方、IまたはPピクチャのDCT係数に、0以外のAC成分が存在するとき、VLC器36では、フラグCODが0とされ、その後に続くデータが必要に応じて伝送される。 [0248] On the other hand, the DCT coefficients of the I or P-picture, when the AC components other than 0 are present, the VLC unit 36, flag COD is zero, are transmitted followed data as needed. なお、フラグCODの後に配置されるMCBPCは、マクロブロックのタイプを示すもので、このMCBPCにしたがって、それに続く必要なデータが伝送される。 Incidentally, MCBPC arranged after the flag COD is intended to indicate the type of a macro block, in accordance with the MCBPC, necessary data is transmitted subsequent.

【0249】ここで、Iピクチャがスキップマクロブロックとなる場合は、基本的にはないので、IピクチャについてのCODは伝送されない(伝送しないようにすることができる)。 [0249] Here, when the I-picture is a skip macroblock, does not basically, COD for I picture (it is possible not to transmit) that are not transmitted.

【0250】次に、図29(B)は、Bピクチャ(VO [0250] Next, FIG. 29 (B) is, B-picture (VO
P)を構成するマクロブロックのシンタクスを示しており、先頭のfirst_MMR_codeの後に配置されるフラグMODBは、図29(A)におけるフラグC Shows the syntax of the macro blocks constituting the P), flag MODB placed after the beginning of first_MMR_code the flag in Fig. 29 (A) C
ODに対応し、そのMODBより後に配置されているデータがあるかどうか、即ち、Bピクチャのマクロブロックのタイプを表す。 Corresponding to OD, whether there is data arranged after that MODB, i.e., represents the type of the macroblock of the B picture.

【0251】図11および図12のVLC器36では、 [0251] In VLC unit 36 ​​of FIG. 11 and FIG. 12,
MODBは、例えば、図30に示すような可変長符号に符号化されて伝送される。 MODB, for example, be transmitted is encoded into variable length code as shown in FIG. 30.

【0252】即ち、本実施の形態では、MODBを可変長符号化するためのテーブル(可変長符号化するためのテーブルは、その可変長符号を可変長復号化するためにも用いられるので、以下、適宜、その両方を含めて可変長テーブルという)として、図30(A)および図30 [0252] That is, in this embodiment, the table for table (variable-length coding to the variable-length coding the MODB, since it is also used to variable length decoding the variable length code, the following , as appropriate, as) that the variable length table including both, FIG. 30 (a) and FIG. 30
(B)に示す2種類が用意されており、図30(A)の可変長テーブル(以下、適宜、MODBテーブルAという)においては、MODBについて3つの可変長符号が、また、図30(B)の可変長テーブル(以下、適宜、MODBテーブルBという)においては、MODB Are two ready to (B), the FIG. 30 (A) a variable length table (hereinafter referred to as MODB table A) In the three variable length codes for MODB are also FIG 30 (B ) variable length table (below, as appropriate, in) that MODB table B, MODB
について2つの可変長符号が割り当てられている。 Two variable length code is allocated for.

【0253】図11および図12のVLC器36は、M [0253] VLC unit 36 ​​of FIG. 11 and FIG. 12, M
ODBテーブルAを用いる場合、Bピクチャを構成するマクロブロックが、それが復号されるまでに復号される、他のフレームのマクロブロックについてのデータ(量子化係数や動きベクトルなど)だけを用いて復号することができるか、または、その直前に復号されるIまたはPピクチャの、対応する位置におけるマクロブロック(いま処理をしようとしているBピクチャのマクロブロックの位置と同一の位置にあるIまたはPピクチャのマクロブロック)がスキップマクロブロックであるとき(CODが1のとき)、そのBピクチャのマクロブロックをスキップマクロブロックとし、MODBを0とする。 When using the ODB table A, a macro block constituting the B picture, decoded using only it is decoded before being decoded, the data for the macroblocks of the other frame (such as quantization coefficients and motion vectors) or can be, or, I or P-picture is decoded immediately before, I or P-picture located at the same position of the macroblock of the B picture trying to macroblock (now processed at the corresponding position when macro blocks) of a skip macro-block (when COD is 1), the macroblock of the B picture as a skip macro-block, and 0 to MODB. そして、この場合、MBTYPEおよびCBPBを含む、MODBより後のデータは伝送されない。 In this case, including MBTYPE and CBPB, data after the MODB is not transmitted.

【0254】また、マクロブロックについてのDCT係数(量子化されたDCT係数)がすべて、例えば0などの同一の値であるが、そのマクロブロックについての動きベクトルが存在する場合(動きベクトルを伝送する必要がある場合)、MODBは「10」とされ、その後に続くMBTYPEが伝送される。 [0254] Also, all DCT coefficients for a macroblock (quantized DCT coefficients), but for example the same value, such as 0 and transmits if the (motion vector is present motion vector for the macroblock If it is necessary), MODB is set to "10", MBTYPE which followed are transmitted.

【0255】さらに、マクロブロックについての少なくとも1つのDCT係数が0でなく(DCT係数が存在し)、そのマクロブロックについての動きベクトルが存在する場合、MODBは「11」とされ、その後に続くMBTYPEおよびCBPBが伝送される。 [0255] Further, at least one of the DCT coefficients for a macroblock is not 0 (DCT coefficients are present), if there is a motion vector for that macroblock, MODB is set to "11", MBTYPE that followed and CBPB are transmitted.

【0256】ここで、MBTYPEは、マクロブロックの予測モードおよびそのマクロブロックに含まれるデータ(フラグ)を示すものであり、また、CBPBは、マクロブロック中のどのブロックにDCT係数が存在するかを示す6ビットのフラグである。 [0256] Here, MBTYPE is intended to represent the data (flag) contained in the prediction mode and the macro block of a macro block, also, whether CBPB is DCT coefficient is present in any block in the macroblock is a 6-bit flag indicating. 即ち、マクロブロックは、図31に示すように、4個の輝度信号についての8×8画素のブロックと、色差信号Cb,Crについての8×8画素のブロックとの合計で6個のブロックで構成され、図11および図12のDCT器34では、このブロックごとにDCT処理が施されるが、図11および図12のVLC器36では、6ビットのCBPBの各ビットが、6個のブロックそれぞれにおけるDCT係数が存在するかどうかで0または1とされる。 That is, the macro block, as shown in FIG. 31, four and blocks of 8 × 8 pixels for the luminance signal and color difference signals Cb, the sum of the blocks of 8 × 8 pixels for Cr in six blocks is configured, the DCT device 34 of FIGS. 11 and 12, but DCT processing is performed for each block, the VLC unit 36 ​​of FIG. 11 and FIG. 12, each bit of the 6 bits CBPB is, six blocks It is on whether DCT coefficients is present 0 or 1 and in each.

【0257】具体的には、マクロブロックを構成する6 [0257] More specifically, constitute the macro block 6
個のブロックについて、例えば、図31に示すように、 For blocks, for example, as shown in FIG. 31,
1乃至6のブロック番号が設定されているものとすると、VLC器36は、例えば、CBPBの第Nビット(ここでは、例えば、最下位ビットを第1ビットとし、 If the block number of 1 to 6 is assumed to be set, VLC unit 36, for example, in the N-th bit (where the CBPB, for example, the least significant bit and the first bit,
最上位ビットを第6ビットとする)を、ブロック番号N The most significant bit to the sixth bit), the block number N
のブロックにDCT係数が存在しない場合に0とし、存在する場合に1とする。 Block 0 if the DCT coefficients is not present in the, and 1 if present. 従って、CBPBが0(「00 Therefore, CBPB is 0 ( "00
0000」)である場合、そのマクロブロックについてのDCT係数は存在しないことを意味する。 If a 0000 "), it means that there is no DCT coefficients of the macroblock.

【0258】一方、図11および図12のVLC器36 [0258] On the other hand, VLC unit 36 ​​of FIG. 11 and FIG. 12
において、MODBテーブルB(図30(B))が用いられる場合、MODBは、MODBテーブルAが用いられる場合に「10」または「11」とされるときに、それぞれ「0」または「10」とされる。 In the case where MODB table B (Fig. 30 (B)) is used, MODB, when set to "10" or "11" when the MODB table A is used, and each "0" or "10" It is. 従って、MOD Therefore, MOD
BテーブルBが用いられる場合は、スキップマクロブロックは生じない。 If B table B is used, a skip macro-block does not occur.

【0259】次に、MBTYPEは、図11および図1 [0259] Next, MBTYPE is 11 and 1
2のVLC器36において、例えば、図32に示すような可変長符号に符号化されて伝送される。 In 2 of the VLC unit 36, for example, it is transmitted encoded in the variable length code as shown in FIG. 32.

【0260】即ち、本実施の形態では、MBTYPEのための可変長テーブルとして、図32(A)および図3 [0260] That is, in this embodiment, as variable length table for MBTYPE, FIG 32 (A) and 3
2(B)に示す2種類が用意されており、図32(A) 2 2 types shown in (B) are prepared, Fig. 32 (A)
の可変長テーブル(以下、適宜、MBTYPEテーブルAという)においては、MBTYPEについて4つの可変長符号が、また、図32(B)の可変長テーブル(以下、適宜、MBTYPEテーブルBという)においては、MBTYPEについて3つの可変長符号が割り当てられている。 Variable length table (hereinafter referred to as MBTYPE table A) In the four variable-length codes for MBTYPE are also variable length table of FIG. 32 (B) (hereinafter referred to as MBTYPE table B) in, three variable length code is allocated for MBTYPE.

【0261】図11および図12のVLC器36は、M [0261] VLC unit 36 ​​of FIG. 11 and FIG. 12, M
BTYPEテーブルAを用いる場合、予測モードが双方向予測符号化モード(Interpolate MC + Q)であるときには、MBTYPEを「01」に可変長符号化する。 When using a BTYPE table A, when the prediction mode is the bidirectional predictive encoding mode (Interpolate MC + Q), the variable length coding on "01" the MBTYPE. そして、この場合、DQUANT,MVDf,MVDbが伝送される。 In this case, DQUANT, MVDf, MVDb is transmitted. ここで、DQUANTは量子化ステップを、 Here, DQUANT the quantization step,
MVDfまたはMVDbは前方向予測または後方向予測に用いられる動きベクトルをそれぞれ示す。 MVDf or MVDb denotes a motion vector used for forward prediction or backward prediction. なお、DQ It should be noted, DQ
UANTとしては、量子化ステップそのものではなく、 The UANT, rather than the quantization step per se,
今回の量子化ステップと前回の量子化ステップとの差分を用いることが可能である。 It is possible to use the difference between the current quantization step and the previous quantization step.

【0262】また、予測モードが後方予測符号化モード(Backward MC + Q)であるときには、MBTYPEは「001」に可変長符号化され、DQUANT,MVD [0262] In addition, when the prediction mode is the backward predictive coding mode (Backward MC + Q) is, MBTYPE is variable-length coding to the "001", DQUANT, MVD
bが伝送される。 b is transmitted.

【0263】さらに、予測モードが前方予測符号化モード(Forward MC + Q)であるときには、MBTYPEは「0001」に可変長符号化され、DQUANT,MV [0263] In addition, when the prediction mode is a forward predictive coding mode (Forward MC + Q) is, MBTYPE is variable-length encoded into "0001", DQUANT, MV
Dfが伝送される。 Df is transmitted.

【0264】また、予測モードがH. [0264] In addition, the prediction mode is H. 263に規定されているダイレクトモード(Direct codingモード)であるときには、MBTYPEは「1」とされ、MVDBが伝送される。 When a direct mode (Direct coding mode) as specified in 263, MBTYPE is set to "1", MVDB is transmitted.

【0265】ここで、上述の場合においては、インター符号化モードとして、前方予測符号化モード、後方予測符号化モード、および両方光予測モードの3種類についてしか説明しなかったが、MPEG4では、この3種類に、ダイレクトモードを加えた4種類が規定されており、従って、図11および図12の動きベクトル検出器32では、Bピクチャについては、例えば、イントラ符号化モード、前方予測符号化モード、後方予測符号化モード、両方向予測モード、またはダイレクトモードのうちの、予測誤差を最も少なくするものが予測モードとして設定されるようになされている。 [0265] Here, in the above case, as the inter coding mode, forward predictive encoding mode, backward predictive encoding mode, and not described only three types of both light prediction mode, in MPEG4, the into three types, four types are defined plus direct mode, therefore, the motion vector detector 32 of FIG. 11 and FIG. 12, the B-picture, for example, the intra coding mode, forward predictive coding mode, backward prediction encoding mode, bidirectional prediction mode or of the direct mode, which the least prediction error is adapted to be set as the prediction mode. なお、ダイレクトモードについての詳細は後述する。 The details of the direct mode will be described later.

【0266】一方、図11および図12のVLC器36 [0266] On the other hand, VLC unit 36 ​​of FIG. 11 and FIG. 12
において、MBTYPEテーブルB(図32(B))が用いられる場合、MBTYPEは、MPTYPEテーブルAが用いられる場合に「01」、「001」、または「0001」とされるときに、それぞれ「1」、「0 In the case where MBTYPE table B (Fig. 32 (B)) is used, MBTYPE is "01" when the MPTYPE table A is used, when it is a "001" or "0001", respectively "1" , "0
1」、または「001」とされる。 Is a 1 ", or" 001 ". 従って、MBTYP Therefore, MBTYP
EテーブルBが用いられる場合は、予測モードとしてダイレクトモードは設定されない。 If E table B is used, the direct mode is not set as the prediction mode.

【0267】次に、図33を参照して、ダイレクトモードについて説明する。 [0267] Next, with reference to FIG. 33, the direct mode will be described.

【0268】例えば、いま、VOP0,VOP1,VO [0268] For example, now, VOP0, VOP1, VO
P2,VOP3の順で表示される4つのVOPが存在し、VOP0およびVOP3がPピクチャ(P−VO P2, there are four VOP to be displayed in the order of VOP3, VOP0 and VOP3 is a P-picture (P-VO
P)で、VOP1およびVOP2がBピクチャ(B−V In P), VOP1 and VOP2 are B-picture (B-V
OP)であるとする。 It assumed to be the OP). また、VOP0,VOP1,VO In addition, VOP0, VOP1, VO
P2およびVOP3は、VOP0,VOP3,VOP P2 and VOP3 is, VOP0, VOP3, VOP
1,VOP2の順で符号化/復号化されるものとする。 1 shall be coded / decoded in the order of VOP2.

【0269】以上のような条件下において、例えば、V [0269] Under the conditions described above, for example, V
OP1のダイレクトモードでの予測符号化は、次のように行われる。 Predictive coding in OP1 direct mode is performed as follows.

【0270】即ち、VOP1の直前に符号化(復号化) [0270] In other words, encoding just before the VOP1 (decryption)
されるPピクチャ、即ち、図33の実施の形態ではVO Is the P-picture, i.e., VO in the embodiment of FIG. 33
P3において、これから符号化しようとするVOP1のマクロブロック(符号化対象マクロブロック)と同一位置にあるマクロブロック(対応マクロブロック)についての動きベクトルをMVとするとき、ダイレクトモードにおいては、この動きベクトルMVおよび所定のベクトルMVDBから、符号化対象マクロブロックを前方予測符号化するための動きベクトルMVFと、後方予測符号化するための動きベクトルMVBが、次式にしたがって計算される。 In P3, when the MV of motion vector for a macroblock (corresponding macro blocks) in the same position as the VOP1 macroblocks to be encoded (the current macroblock), in the direct mode, the motion vector from MV and a predetermined vector MVDB, the motion vector MVF for forward predictive coding the coding target macroblock, the motion vector MVB for backward predictive coding, is calculated according to the following equation.

【0271】 MVF=(TRB×MV)/TRD+MVDB MVB=(TRB−TRD)×MV/TRD 但し、動きベクトルMVBが上式により計算されるのは、ベクトルMVDBが0の場合で、このベクトルMV [0271] MVF = the (TRB × MV) / TRD + MVDB MVB = (TRB-TRD) × MV / TRD However, the motion vector MVB is calculated by the above equation, if the vector MVDB is 0, the vector MV
DBが0でない場合には、動きベクトルMVBは次式にしたがって計算される。 If DB is not 0, the motion vector MVB is calculated according to the following equation. MVB=MVF−MV なお、TRBは、VOP1から、その直前に表示されるIまたはPピクチャ(図33の実施の形態ではVOP MVB = MVF-MV Incidentally, TRB from VOP1, in the embodiment of the I or P-picture (Figure 33 is displayed immediately before the VOP
0)までの距離を表し、TRDは、表示順で、VOP1 0) represents the distance of up to, TRD is, in display order, VOP1
の直前と直後にあるIまたはPピクチャ(図33の実施の形態ではVOP0とVOP3)の間隔を表す。 (In the embodiment of FIG. 33 VOP0 and VOP3) immediately before the I or P-picture immediately following represents the interval.

【0272】図11および図12の動きベクトル検出器32は、BピクチャのVOPについては、ベクトルMV [0272] The motion vector detector 32 of FIG. 11 and FIG. 12, for the VOP of B-picture, vector MV
DBを種々の値に変化させ(但し、ベクトルMVDB DB is varied to various values ​​(however, the vector MVDB
は、動きベクトルMVと方向が同一のベクトル)、例えば、上式にしたがって得られる動きベクトルMVFおよびMVBを用いて予測符号化を行うことにより生じる予測誤差が、イントラ符号化モード、前方予測符号化モード、後方予測符号化モード、および両方向予測モードのうちのいずれのものよりも小さいとき、予測モードとしてダイレクトモードを設定する。 The motion vector MV and the direction the same vector), for example, the prediction error caused by performing prediction coding using motion vectors MVF and MVB obtained in accordance with the above equation, the intra coding mode, forward predictive coding mode, when the backward predictive encoding mode, and less than that of any of the bidirectional prediction mode, setting a direct mode as a prediction mode.

【0273】なお、図33の実施の形態においては、T [0273] In the embodiments of Figure 33, T
RB=1,TRD=3とされており、従って、動きベクトルMVFは、MV/3+MVDBで与えられる。 RB = 1, which is a TRD = 3, therefore, the motion vector MVF is given by MV / 3 + MVDB. また、動きベクトルMVBは、MVDBが0のときは2M In addition, the motion vector MVB, when MVDB is 0 2M
V/3で、MVDBが0でないときは−2MV/3+M In V / 3, when MVDB is not 0 -2MV / 3 + M
VDBで与えられる。 It is given by the VDB.

【0274】ところで、予測モードがダイレクトモードとされた場合においては、符号化対象マクロブロックの符号化/復号化に、最も最近に符号化/復号化されるP [0274] Incidentally, when the prediction mode is the direct mode, the coding / decoding of the current macroblock, P is most recently encoding / decoding
ピクチャ(図33の実施の形態ではVOP3)における対応マクロブロックの動きベクトルMVが必要となる。 Motion vector MV of the corresponding macro-block is required in the picture (VOP3 in the embodiment of FIG. 33).

【0275】しかしながら、VOPは、その大きさおよび位置が変化する場合があり(上述したように、video_ [0275] However, VOP, there are cases that the size and the position changes (as described above, Video_
object_layer_shapeが「10」または「01」の場合)、この場合、対応マクロブロックが存在するとは限らない。 If object_layer_shape is "10" or "01"), in this case, not necessarily with the corresponding macro block is present. 従って、大きさや位置が変化するVOPを対象とした符号化/復号化を行う場合においては、無条件にダイレクトモードを使用したのでは、処理をすることができなくなる状態が生じることになる。 Accordingly, in the case of the size and position changing encoding / decoding intended for the VOP, than using direct mode unconditionally, so that the state in which it is impossible to process occurs.

【0276】そこで、本実施の形態では、ダイレクトモードは、符号化対象マクロブロックを有するVOP(B [0276] Therefore, in this embodiment, the direct mode, VOP having encoded macroblock (B
ピクチャのVOP)が、最も最近に復号されるPピクチャのVOPと、その大きさが同一である場合のみ使用可能とする。 Picture VOP) is, the VOP of P picture to be decoded most recently is available only when the magnitude is the same. 具体的には、上述したVOP_widthおよびVOP_h Specifically, VOP_width and VOP_h described above
eightで表されるVOPの大きさが変化しない場合のみ、ダイレクトモードの使用を許可するようにする。 If the size of the VOP represented by eight does not change only, so as to allow the use of direct mode.

【0277】従って、ダイレクトモードに対応するMB [0277] Therefore, MB corresponding to the direct mode
TYPEの可変長符号が定義されているMBTYPEテーブルAは、基本的には、符号化対象マクロブロックを有するBピクチャのVOPの大きさと、最も最近に復号されるPピクチャのVOPの大きさとが同一である場合にのみ用いられる。 TYPE is MBTYPE table A variable length code is defined in, basically, the size of the VOP of a B-picture having a coding target macroblock, the VOP of P picture to be decoded most recently magnitude and the same used only if it is.

【0278】なお、MODBテーブルA(図30 [0278] It should be noted, MODB table A (FIG. 30
(A))は、MPEG4において規定されており、また、このMODBテーブルAを用いる場合においては、 (A)) is defined in MPEG4, also, in the case of using the MODB table A is
MODBが「0」のときであって、図15で説明したre There is time MODB is "0", re described with reference to FIG. 15
f_select_codeが「00」でないときは、予測モードをダイレクトモードとすることが規定されている。 When f_select_code is not "00" is defined to be a predictive mode and direct mode. 従って、MODBテーブルAも、基本的には、符号化対象マクロブロックを有するBピクチャのVOPの大きさと、 Therefore, even MODB table A, basically, the size of the VOP of a B-picture having a coding target macroblock,
最も最近に復号されるPピクチャのVOPの大きさとが同一である場合にのみ用いられる。 Most recently and the size of the VOP of the P picture to be decoded is used only if the same.

【0279】以上から、MODBテーブルAおよびMB [0279] From the above, MODB tables A and MB
TYPEテーブルAが用いられる場合、MODBが「0」か、または、MBTYPEが「1」のとき、予測モードはダイレクトモードとなる。 If TYPE table A is used, when either MODB is "0", or, MBTYPE is "1", the prediction mode is the direct mode.

【0280】なお、video_object_layer_shapeが「0 [0280] It should be noted, video_object_layer_shape is "0
0」の場合は、VOPの大きさは変化しないため、この場合も、MODBテーブルAおよびMBTYPEテーブルAが用いられることになる。 For 0 ", since the size of the VOP is not changed, even in this case, the MODB table A and MBTYPE table A is used.

【0281】一方、符号化対象マクロブロックを有するBピクチャのVOPの大きさと、最も最近に復号されるPピクチャのVOPの大きさとが異なる場合、ダイレクトモードを使用することができないので、MBTYPE [0281] On the other hand, the size of the VOP of a B-picture having a coding target macroblock, if the most recently and the size of the VOP of the P picture to be decoded are different, it is impossible to use the direct mode, MBTYPE
は、MBTYPEテーブルB(図32(B))を用いて可変長符号化/可変長復号化される。 Is variable length encoding / variable length decoding using the MBTYPE table B (Fig. 32 (B)).

【0282】また、符号化対象マクロブロックを有するBピクチャのVOPの大きさと、最も最近に復号されるPピクチャのVOPの大きさとが異なる場合、少なくともMPTYPEは伝送する必要があるので、即ち、MB [0282] In addition, the size of the VOP of a B-picture having a coding target macroblock, if the most recently and the size of the VOP of the P picture to be decoded are different, at least MPTYPE should be transmitted, i.e., MB
TYPEおよびCBPBの両方を伝送せずに済むことはないので、MODBは、MBTYPEおよびCBPBの両方を転送しない場合が定義されているMODBテーブルA(図30(A))ではなく、そのような場合が定義されていないMODBテーブルB(図30(B))を用いて可変長符号化/可変長復号化される。 Since there is no possibility that unnecessary to carry both TYPE and CBPB, MODB, not the MODB table A (Fig. 30 (A)) that if no transfer both MBTYPE and CBPB are defined, when such There are variable length encoding / variable length decoding using the MODB table B is not defined (FIG. 30 (B)).

【0283】以上のように、VOPの大きさの変化に対応して、用いる可変長テーブルを選択(変更)することで、その符号化の結果得られるデータのデータ量を低減することが可能となる。 [0283] As described above, in response to change in size of the VOP, by selecting (changing) the variable length table used, it is possible to reduce the amount of data obtained as a result of the coding Become.

【0284】即ち、MODBテーブルA(図30 [0284] In other words, MODB table A (FIG. 30
(A))だけを用いた場合、MODBが1ビットの可変長符号にされる場合が1通りと、2ビットの可変長符号にされる場合が2通りだけ存在する。 When using only (A)), and if the types 1 MODB is the 1-bit variable-length code, as in the 2-bit variable length code is present only two ways. 一方、MODBテーブルB(図30(B))を用いた場合、MODBが1 On the other hand, when using the MODB table B (Fig. 30 (B)), MODB is 1
ビットの可変長符号にされる場合が1通りと、2ビットの可変長符号にされる場合が1通りだけ存在する。 And if the types 1 to be a variable length code bits, as in the 2-bit variable length code is present only ways 1. 従って、MODBテーブルAおよびBの両方を用いる場合、 Therefore, when using both the MODB tables A and B,
MODBテーブルAだけを用いる場合に比較して、MO Compared to the case of using only the MODB table A, MO
DBが2ビットの可変長符号にされる頻度が減少し、その結果、データ量を低減することができる。 DB frequently be in the 2-bit variable length code is reduced, and as a result, it is possible to reduce the amount of data.

【0285】同様に、MBTYPEテーブルA(図32 [0285] Similarly, MBTYPE table A (Fig. 32
(A))によれば、MBTYPEが最長で4ビットの可変長符号にされる場合があるが、MBTYPEテーブルB(図32(B))では、MBTYPEは、最長でも3 According to (A)), there is a case where MBTYPE is the 4-bit variable length code at the longest, the MBTYPE table B (Fig. 32 (B)), MBTYPE is 3 at the longest
ビットの可変長符号にしかされない。 Not only in the variable length code of the bit. 従って、やはり、 Therefore, again,
データ量を低減することができる。 It is possible to reduce the data amount.

【0286】ところで、以上のように、複数のMODB [0286] By the way, as described above, a plurality of MODB
テーブルやMBTYPEテーブルを用いる場合、下位レイヤと、ref_select_codeが「00」以外となっている上位レイヤとについては問題ないが、r When using a table or MBTYPE table, and the lower layer, there is no problem for the upper layer ref_select_code has become other than "00", r
ef_select_codeが「00」となっている上位レイヤについては、次のような問題が生じる。 For the upper layer ef_select_code is "00", the following problem arises.

【0287】即ち、上位レイヤにおいて、Bピクチャの処理対象マクロブロックについてのフラグref_se [0287] That is, in the upper layer, the flag of the current macroblock of the B picture ref_se
lect_codeが「00」である場合というのは、 Because if lect_code is "00",
図34に示すように、その処理対象マクロブロックを、 As shown in FIG. 34, the processing object macroblock,
同一レイヤ(ここでは上位レイヤ)におけるIまたはP I or P in the same layer (the upper layer in this case)
ピクチャと、そのレイヤと異なるレイヤ(ここでは下位レイヤ)の同一時刻における画像(拡大画像)とが、必要に応じて、参照画像として用いられる場合である(図15)。 And the picture, an image (enlarged image) at the same time a layer different from the layer (lower layer in this case), but if optionally used as a reference image (FIG. 15).

【0288】一方、ダイレクトモードは、時刻の異なる2つのIまたはPピクチャの間にあるBピクチャを、その直前に復号されるPピクチャの動きベクトルを用いて予測符号化するものである。 [0288] On the other hand, the direct mode, a B picture that exists between the two I or P-pictures having different times, is predictive coding using the motion vector of the P-picture to be decoded immediately before.

【0289】従って、ref_select_code [0289] Therefore, ref_select_code
が「00」の場合、ダイレクトモードは適用し得ないのに、MBTYPEテーブルAが用いられるときには、予測モードとして、ダイレクトモードが設定されることがある。 If is "00", though not the direct mode obtained by applying, when the MBTYPE table A is used, as the prediction mode, it may direct mode is set.

【0290】そこで、本実施の形態においては、上位レイヤにおいて、Bピクチャの処理対象マクロブロックについてのフラグref_select_codeが「0 [0290] Therefore, in this embodiment, in the upper layer, the flag ref_select_code for the current macroblock of the B picture is "0
0」である場合、次のような第1または第2の方法のうちのいずれかによって、MBTYPEが可変長符号化/ If it is 0 ", by any of the first or second method, as follows, MBTYPE is variable length encoding /
可変長復号化されるようになされている。 It is adapted to be variable length decoded.

【0291】即ち、第1の方法では、上位レイヤにおいて、Bピクチャの処理対象マクロブロックについてのフラグref_select_codeが「00」である場合は、MBTYPEテーブルAは用いられず、MBT [0291] That is, in the first method, the upper layer, the flag ref_select_code for the current macroblock of the B picture is "00", MBTYPE table A is not used, MBT
YPEテーブルBが用いられる。 YPE table B is used. MBTYPEテーブルBには、上述したように、ダイレクトモードは定義されていないから、図34に示したような場合に、予測モードとしてダイレクトモードが設定されることはない。 The MBTYPE table B, as described above, since the direct mode is not defined, when as shown in FIG. 34, there is no possibility that the direct mode is set as the prediction mode.

【0292】また、第2の方法では、ダイレクトモードに準ずる予測モードとして、次のような準ダイレクトモードを定義し、上位レイヤにおいて、Bピクチャの処理対象マクロブロックについてのフラグref_sele [0292] In the second method, as the prediction mode equivalent to the direct mode, defines a quasi-direct mode, as follows, in the upper layer, the flag of the current macroblock of the B picture ref_sele
ct_codeが「00」である場合に、MBTYPE If ct_code is "00", MBTYPE
テーブルAが用いられるときには、MBTYPEの可変長符号「1」に、ダイレクトモードではなく、準ダイレクトモードを割り当てるようにする。 When the table A is used, the variable length code "1" in the MBTYPE, rather than the direct mode, to allocate quasi-direct mode.

【0293】ここで、準ダイレクトモードにおいては、 [0293] Here, in the quasi-direct mode,
図34に示した場合において、前方向予測は、下位レイヤ(異なるレイヤ)の画像を倍率FRにしたがって拡大した拡大画像を参照画像(予測参照画像)として行い、 In the case shown in FIG. 34, the forward prediction performs an enlarged image obtained by enlarging the image of the lower layer (different layer) according to the magnification FR as a reference picture (predictive reference image),
また、後方予測は、上位レイヤ(同一レイヤ)の直前に符号化(復号)された画像を参照画像として行う。 Further, backward prediction performs image encoded (decoded) immediately before the upper layer (same layer) as a reference picture.

【0294】さらに、図35に示すように、前方予測の参照画像とされる拡大画像における対応マクロブロック(符号化対象のマクロブロックと同一位置にあるマクロブロック)についての動きベクトルをMVとするとき、 [0294] Further, as shown in FIG. 35, when the motion vector for the (macro block in the macroblock at the same position of the coding target) corresponding macroblock in the enlarged image that is a reference image of the forward prediction and MV ,
後方予測に用いる動きベクトルMVBとして、次式で与えられるベクトルを用いる。 As the motion vector MVB for use in backward prediction, using the vector given by the following equation.

【0295】MVB=MV×FR+MVDB [0295] MVB = MV × FR + MVDB

【0296】即ち、下位レイヤの対応マクロブロックについての動きベクトルMVをFR倍し、これに、ベクトルMVDBを加算したものを、後方予測の動きベクトルMVBとして用いる。 [0296] That is, the motion vector MV of the corresponding macro-block of the lower layer multiplies FR, thereto, a material obtained by adding the vector MVDB, used as the motion vector MVB of the backward prediction.

【0297】なお、この場合、動きベクトルMVBは伝送されない。 [0297] In this case, the motion vector MVB is not transmitted. これは、動きベクトルMVBは、動きベクトルMV、倍率FR、およびMVDBから得ることができるためであり、従って、受信側(デコーダ側)では、 This motion vector MVB is because it is possible to obtain the motion vector MV, the magnification FR, and from MVDB, therefore, the reception side (decoder side),
上位レイヤにおいて、Bピクチャの処理対象マクロブロックについてのフラグref_select_code In the upper layer, the flag of the current macroblock of the B picture ref_select_code
が「00」である場合に、MBTYPEテーブルAを用いて可変長復号化が行われるとき、MBTYPEが「1」となっているマクロブロックの動きベクトルMV If There is "00", when the variable length decoding is performed using the MBTYPE table A, the motion of a macroblock MBTYPE is "1" vector MV
Bは、下位レイヤの対応マクロブロックについての動きベクトルMV、倍率FR、およびベクトルMVDBから求められる。 B is a motion vector MV for the corresponding macro-block of the lower layer is determined from the magnification FR, and vector MVDB.

【0298】よって、この場合、いわば冗長なデータである動きベクトルMVBが伝送されないので、符号化効率を向上させることができる。 [0298] Therefore, in this case, the motion vector MVB is not transmitted so to speak redundant data, thereby improving the coding efficiency.

【0299】次に、図36および図37のフローチャートを参照して、図11および図12のVLC器36、並びに図19および図20のIVLC器102において用いられる可変長テーブルの決定方法(MODBテーブルAまたはBのうちのいずれを用いるのかと、MBTYP [0299] Next, with reference to the flowchart of FIGS. 36 and 37, 11 and VLC unit 36 ​​of FIG. 12, and a variable length table method of determining the (MODB table used in the IVLC unit 102 of FIG. 19 and FIG. 20 whether to use either of a or B, MBTYP
EテーブルAまたはBのうちのいずれを用いるのかを決定する方法)について説明する。 Or to determine how) is described to use any of the E Table A or B.

【0300】図36は、下位レイヤについて用いる可変長テーブルの決定方法を示している。 [0300] Figure 36 illustrates a method of determining the variable length table used for the lower layer.

【0301】この場合、まず最初に、ステップS31において、VOPの大きさが変化しているかどうかが、例えば、図25で説明したvideo_object_layer_shapeや、 [0301] In this case, first, in step S31, video_object_layer_shape and whether the size of the VOP is changed, for example, described in FIG. 25,
VOP_width,VOP_height、あるいは図26で説明したloa VOP_width, loa described in VOP_height or 26,
d_VOP_sizeなどを参照することにより判定される。 It is determined by reference to such D_VOP_size. ステップS31において、VOPの大きさが変化していないと判定された場合、ステップS32に進み、MODBテーブルAおよびMBTYPEテーブルAを用いることが決定され、処理を終了する。 In step S31, if it is determined that the size of the VOP is not changed, the process proceeds to step S32, is determined using the MODB tables A and MBTYPE table A, the process ends. 一方、ステップS31において、VOPの大きさが変化していると判定された場合、ステップS33に進み、MODBテーブルBおよびMBTYPEテーブルBを用いることが決定され、処理を終了する。 On the other hand, in step S31, when the size of the VOP is determined to have changed, the process proceeds to step S33, is determined using the MODB table B and MBTYPE table B, the process ends.

【0302】次に、図37は、上位レイヤについて用いる可変長テーブルの決定方法を示している。 [0302] Next, FIG. 37 illustrates a method of determining the variable length table used for the upper layer.

【0303】この場合、まず最初に、ステップS41において、ref_select_codeが「00」であるかどうかが判定される。 [0303] In this case, first of all, in step S41, whether ref_select_code is "00" is determined. ステップS41において、ref_select_cod In step S41, ref_select_cod
eが「00」であると判定された場合、即ち、処理しようとしている上位レイヤのVOPについて、下位レイヤの同一時刻におけるVOPが参照画像として用いられる場合、ステップS42に進み、MODBテーブルAおよびMBTYPEテーブルBを用いることが決定され、処理を終了する。 If e is determined to be "00", i.e., the VOP of the upper layer that is to be processed, if the VOP at the same time the lower layer is used as a reference image, the process proceeds to step S42, MODB table A and MBTYPE it is determined using a table B, and the process ends.

【0304】なお、この場合、準ダイレクトモードを使用するときには、MBTYPEテーブルBではなく、M [0304] It should be noted that, in this case, when using a quasi-direct mode, rather than MBTYPE table B, M
BTYPEテーブルAを用いるように決定がなされる。 Decision is made to use a BTYPE table A.
即ち、ステップS42では、第1の方法を適用するときはMBTYPEテーブルBが、また、第2の方法を適用するときはMBTYPEテーブルAが選択される。 That is, in step S42, the MBTYPE table B when applying the first method, also when applying the second method is selected MBTYPE table A.

【0305】一方、ステップS41において、ref_sele [0305] On the other hand, in step S41, ref_sele
ct_codeが「00」でないと判定された場合、ステップS43に進み、以下、ステップS43乃至S45において、図36のステップS31乃至S33における場合と同様の処理が行われることにより、用いるべきMODB If ct_code is determined not "00", the process proceeds to step S43, hereinafter, in the step S43 to S45, by the same processing as in step S31 to S33 in FIG. 36 is performed, to be used MODB
テーブルおよびMBTYPEテーブルが決定される。 Table and MBTYPE table are determined.

【0306】次に、図38乃至図40を参照して、図1 [0306] Next, with reference to FIG. 38 through FIG. 40, FIG. 1
1の下位レイヤ符号化部25および図12の上位レイヤ符号化部23、並びに図19の下位レイヤ復号部95および図20の上位レイヤ復号部93におけるスキップマクロブロックの処理について説明する。 1 of the lower layer encoding unit 25 and the upper layer encoding unit 23 of FIG. 12, as well as the processing of skipped macroblocks in the upper layer decoding unit 93 of the lower layer decoding unit 95 and 20 in FIG. 19 will be described.

【0307】なお、ここでは、上述したように、Iピクチャのマクロブロックがスキップマクロブロックとなることは基本的にはないものとし、従って、PおよびBピクチャを対象に説明を行う。 [0307] Here, as described above, the macroblocks of the I-picture is a skip macro-block shall not basically, therefore, description is given of a P and B pictures.

【0308】また、MODBテーブルBが用いられる場合も、上述したようにスキップマクロブロックが生じることはないので、従って、スキップマクロブロックの処理は、MODBテーブルAが用いられる場合にのみ行われる。 [0308] Further, even if the MODB table B is used, since it is not possible to skip macroblocks occur as described above, therefore, processing of skipped macroblocks is performed only if the MODB table A is used.

【0309】まず、図38は、図11の下位レイヤ符号化部25、および図19の下位レイヤ復号部95におけるスキップマクロブロックの処理を説明するフローチャートである。 [0309] First, FIG. 38 is a flowchart for explaining the processing of a skip macro-block in the lower layer decoding unit 95 of the lower layer encoding unit 25, and 19 in FIG. 11.

【0310】まず最初に、ステップS1においては、処理対象のマクロブロックが、PまたはBピクチャのうちのいずれであるかが判定される。 [0310] First, in step S1, the macro block to be processed is, whether it is a one of the P or B picture is determined. ステップS1において、処理対象のマクロブロックが、Pピクチャであると判定された場合、ステップS2に進み、そのマクロブロックについてのCODが1であるかどうかが判定される。 In step S1, the macro block to be processed is, if it is determined that the P-picture, the process proceeds to step S2, COD for that macroblock is determined whether 1. ステップS2において、処理対象のマクロブロックについてのCODが1であると判定された場合、ステップS3に進み、そのマクロブロックはスキップマクロブロックであると決定され、そのように取り扱われる。 In step S2, if the COD of a macro block to be processed is determined to be 1, the process proceeds to step S3, the macro block is determined to be a skip macro-block and handled as such. 即ち、この場合、処理対象のマクロブロックの量子化係数(DCT係数)はすべて0であるとされ、また、その動きベクトルも0であるとされる。 That is, in this case, the quantization coefficient of the macro block to be processed (DCT coefficients) are all zero, also are the motion vector is also zero.

【0311】また、ステップS2において、処理対象のマクロブロックについてのCODが1でないと判定された場合、ステップS4に進み、そのマクロブロックは、 [0311] Further, in step S2, if the COD of the macroblock to be processed is determined not 1, the process proceeds to step S4, the macro block,
通常処理される。 It is the normal process. 即ち、この場合、Pピクチャのマクロブロックは、0以外のDCT係数を有し、または0以外の動きベクトルを有するものとして扱われる。 That is, in this case, a macroblock of P picture is treated as having a having a DCT coefficient other than 0, or non-zero motion vector.

【0312】一方、ステップS1において、処理対象のマクロブロックがBピクチャであると判定された場合、 [0312] On the other hand, in step S1, if the macro block to be processed is determined to be a B-picture,
ステップS5に進み、そのBピクチャのマクロブロックが復号される直前に復号されるIまたはPピクチャにおいて、同一位置にあるマクロブロック(対応マクロブロック)のCODが1であるかどうかが判定される。 The process proceeds to step S5, the I or P-picture is decoded immediately before the macroblock of the B picture is decoded, COD of in the same position macroblock (corresponding macroblock) it is determined whether it is 1. ステップS5において、処理対象のマクロブロックについての対応マクロブロックのCODが1であると判定された場合、ステップS6に進み、その処理対象のマクロブロックは、スキップマクロブロックであると決定され、そのように取り扱われる。 In step S5, if the COD of the corresponding macro-block for the macro block to be processed is determined to be 1, the process proceeds to step S6, the macro block of the processing object is determined to be a skip macro-block, such It is handled.

【0313】即ち、いま、処理すべき画像(VOP)として、例えば、図40(A)に示すように、I/P(I [0313] That is, now, as an image to be processed (VOP), for example, as shown in FIG. 40 (A), I / P (I
/Pは、IまたはPピクチャを意味する),B,I/P / P refers to I or P-picture), B, I / P
というシーケンスで表示されるものがあり、これらは、 There is what is displayed in the sequence of, these,
同図(A)において、最も左のI/P、最も右のI/ In FIG. (A), the leftmost I / P, rightmost I /
P、左から2番目のBの順で符号化/復号化されるものとする。 P, and shall be coded / decoded in the order of the second B from the left. さらに、いま、左から2番目のBピクチャのマクロブロックが処理の対象となっているものとする。 Further, now, it is assumed that the macroblock of the second B-picture is subject to processing from the left.

【0314】この場合、最も右のI/Pピクチャは、最も左のI/Pピクチャを参照画像として用いて符号化/ [0314] In this case, the rightmost I / P picture, using the leftmost of I / P-picture as a reference picture encoding /
復号化されることになる。 It will be decoded. 従って、処理対象のBピクチャのマクロブロックについての、最も右のI/Pピクチャの対応マクロブロックのCODが1である場合、即ち、その対応マクロブロックがスキップマクロブロックである場合、最も左のI/Pピクチャから最も右のI/ Thus, for a macroblock of a B picture to be processed, if COD of the corresponding macro-block of the rightmost I / P picture is a 1, i.e., when the corresponding macro-block is a skip macro-block, the leftmost I / from the P-picture most right of the I /
Pピクチャまでの間には、画像の変化がなかったことになる。 Between up P-picture, so that the change in the image was not. そこで、上述したように、処理対象のマクロブロックがBピクチャであり、かつ、その対応マクロブロックのCODが1のときは、その処理対象のマクロブロックはスキップマクロブロックとされる。 Therefore, as described above, the macro block to be processed is a B-picture, and, when COD of the corresponding macro-block is 1, the macro block of the processing target is a skip macro-block.

【0315】なお、この場合、そのBピクチャの処理対象のマクロブロックについての処理(予測符号化/復号化)は、最も右のI/Pピクチャの対応マクロブロックと同様に行われ、従って、その動きベクトルは0と、また、DCT係数もすべて0として扱われる(エンコーダ側では、上述したように、MODBのみ伝送され、それ以降のCBPBやMBTYPEなどは伝送されない)。 [0315] In this case, the processing for the macroblock to be processed of the B-picture (predictive coding / decoding) is performed in the same manner as the corresponding macroblock in the rightmost I / P-picture, therefore, that a motion vector is 0, also treated as DCT coefficients all zero (at the encoder side, as described above, is transmitted only MODB, such as subsequent CBPB or MBTYPE is not transmitted).

【0316】図38に戻り、ステップS5において、対応マクロブロックのCODが1でないと判定された場合、ステップS7に進み、処理対象のBピクチャのマクロブロックのMODBが0であるかどうかが判定される。 [0316] Returning to Figure 38, in step S5, if the COD of the corresponding macro-block is determined not 1, the process proceeds to step S7, whether MODB of the macro block of the B picture to be processed is 0 is determined that. ステップS7において、そのMODBが0であると判定された場合、ステップS8に進み、その処理対象のマクロブロックは、スキップマクロブロックであると決定され、そのように取り扱われる。 In step S7, if the MODB is judged to be 0, the process proceeds to step S8, the macro block in the processed is determined to be a skip macro-block is treated as such.

【0317】即ち、いま、処理すべき画像(VOP)として、例えば、図40(B)に示すように、図40 [0317] That is, now, as an image (VOP) to be treated, for example, as shown in FIG. 40 (B), FIG. 40
(A)における場合と同様の順番で、表示および符号化/復号化されるものがあり、やはり、同図(A)における場合と同様に、左から2番目のBピクチャのマクロブロックが処理の対象となっているものとする。 In the same order as in (A), there is what appears and encoding / decoding, again, as in Fig. (A), a macro block of the second B-picture from left is processed it is assumed that the subject.

【0318】いまの場合、処理対象のBピクチャのマクロブロックについての、最も右のI/Pピクチャの対応マクロブロックのCODが1でないから、即ち、その対応マクロブロックがスキップマクロブロックでないから、最も左のI/Pピクチャから最も右のI/Pピクチャまでの間には、画像に変化があったことになる。 [0318] In the current case, the macroblock of the B picture to be processed, since COD of the corresponding macro-block of the rightmost I / P picture is not 1, i.e., because the corresponding macroblock is not a skipped macroblock, most between the left I / P picture to the rightmost I / P-picture, it means that there is a change in the image.

【0319】一方、処理対象のBピクチャのマクロブロックのMODBが0であるから、このマクロブロックは、それが復号されるまでに復号される、他のフレームのマクロブロックについてのデータだけを用いて復号することができるか、その直前に復号されるIまたはPピクチャにおける対応マクロブロックがスキップマクロブロックである(CODが1である)ということになるが、上述したように、CODは1でないから、処理対象のBピクチャのマクロブロックは、それが復号されるまでに復号される、他のフレームのマクロブロックについてのデータ(以下、適宜、既復号データという)を用いて復号することができるということになる。 [0319] On the other hand, since the MODB of the macro block of a B picture to be processed is 0, this macro block, it is decoded before being decrypted by using only data for the macroblocks of another frame or can be decoded, but the corresponding macroblock in I or P-picture is decoded immediately before is skipped macroblocks (COD is a is 1) it comes to, as described above, since COD is not 1 , that the macroblock of the B picture to be processed, it is decoded before being decoded, the data for the macroblocks of the other frame (hereinafter referred to as pre-decoded data) can be decoded using the It will be.

【0320】そこで、最も左のI/Pピクチャから最も右のI/Pピクチャまでの間に、画像に変化があり、かつ、処理対象のBピクチャのマクロブロックが、既復号データだけを用いて復号することができる場合を考えると、それは、例えば、図40(B)に示すように、最も右のI/Pピクチャにおける対応マクロブロック(実線で示す部分)を、最も左のI/Pピクチャを参照画像として処理する場合の動きベクトルMV1を、例えば、1 [0320] Therefore, during the leftmost I / P picture to the rightmost I / P-picture, there is a change in the image, and a macroblock of a B picture to be processed is, using only the already decoded data Considering the case that can be decoded, it is, for example, as shown in FIG. 40 (B), the corresponding macro-block in the rightmost I / P picture (the portion indicated by the solid line), the leftmost I / P picture the motion vector MV1 when processing as a reference image, for example, 1
/2倍または−1/2倍した動きベクトルMV2またはMV3によって、最も左のI/Pピクチャまたは最も右のI/Pピクチャを動き補償してそれぞれ得られる予測画像(同図(B)において、点線で示す部分)の平均値が、処理対象のマクロブロックと一致する場合(予測誤差が生じない場合)ということになる。 / By 2-fold or -1/2 times the motion vector MV2 or MV3, in the leftmost I / P picture or the rightmost I / P predicted image picture obtained each motion compensation (FIG. (B), mean value of the portion) indicated by the dotted line, it comes to the case of matching a macro block to be processed (if the prediction error does not occur).

【0321】以上から、図38のステップS8では、B [0321] From the above, in step S8 in FIG. 38, B
ピクチャの処理対象のマクロブロックについての処理(予測符号化/復号化)は、動きベクトルとして、最も右のI/Pピクチャにおける対応マクロブロックの動きベクトルMV1から求められる動きベクトルMV2(M Processing for macro-block to be processed in the picture (predictive coding / decoding), as a motion vector, the rightmost movement obtained from the corresponding macroblock motion vector MV1 in I / P-picture vector MV2 (M
VF)およびMV3(MVB)が用いられ、かつ、その画素値(画像データ)として、上述のような予測画像の平均値が用いられて行われる。 VF) and MV3 (MVB) is used, and the pixel value as the (image data) is performed is used the average value of the prediction image as described above.

【0322】即ち、この場合、例えば、処理対象のマクロブロックについての予測モードは、上述したダイレクトモードとされる。 [0322] That is, in this case, for example, the prediction mode for the macroblock to be processed is a direct mode described above. なお、H. In addition, H. 263では、ダイレクトモードが適用されるのはPBピクチャであり、従って、 In 263, the direct mode is applied is a PB picture, therefore,
本実施の形態におけるBピクチャとは、MPEG1,2 The B-picture in this embodiment, MPEG1,2
におけるBピクチャや、H. And B-pictures in, H. 263におけるPBピクチャなどを含む、いわば広い概念のものである。 Etc. PB picture in 263, is intended to speak broad concept.

【0323】一方、ステップS7において、処理対象のBピクチャのマクロブロックについてのMODBが0でないと判定された場合、ステップS9に進み、ステップS4における場合と同様に、通常の処理が行われる。 [0323] On the other hand, in step S7, if the MODB of the macro block of the B picture to be processed is not 0 determined, the process proceeds to step S9, as in step S4, normal processing is performed.

【0324】次に、図39は、図12の上位レイヤ符号化部23、および図20の上位レイヤ復号部93におけるスキップマクロブロックの処理を説明するフローチャートである。 [0324] Next, FIG 39 is a flowchart for explaining the processing of a skip macro-block in the upper layer decoding unit 93 of the high-level-layer encoding unit 23, and 20 in FIG. 12.

【0325】この場合、ステップS11乃至S14においては、図38のステップS1乃至S4における場合とそれぞれ同様の処理が行われる。 [0325] In this case, in steps S11 to S14, the same processes as in steps S1 to S4 in FIG. 38 is performed. 即ち、Pピクチャについては、下位レイヤおよび上位レイヤのいずれについても同一の処理が施される。 That is, for the P picture, the same processing is performed for both of the lower layer and the upper layer.

【0326】一方、ステップS11において、処理対象のマクロブロックがBピクチャであると判定された場合、ステップS15に進み、そのマクロブロックについてのフラグref_select_codeが「00」 [0326] On the other hand, in step S11, if the macro block to be processed is determined to be a B-picture, the process proceeds to step S15, the flag ref_select_code for that macroblock is "00"
であるかどうかが判定される。 Whether it is determined. ステップS15において、処理対象のBピクチャのマクロブロックについてのフラグref_select_codeが「00」でないと判定された場合、即ち、そのBピクチャのマクロブロックが、下位レイヤの同一時刻における画像を参照画像として用いて処理されるものではない場合、ステップS16乃至S20に進み、図38のステップS5乃至S In step S15, if the flag ref_select_code for a macroblock of a B picture to be processed is determined not "00", i.e., macroblocks that B picture uses the image at the same time in the lower layer as a reference picture If not to be processed, the process proceeds to step S16 to S20, steps S5 to S in FIG. 38
9における場合とそれぞれ同様の処理が行われる。 The same processes as in 9 is performed.

【0327】また、ステップS15において、処理対象のBピクチャのマクロブロックについてのフラグref [0327] Further, in step S15, the flag ref for the macroblock of the B picture to be processed
_select_codeが「00」であると判定された場合、即ち、そのBピクチャのマクロブロックが、下位レイヤの同一時刻における画像を参照画像として用いて処理されるものである場合、ステップS21に進み、 If _select_code is determined to be "00", i.e., if a macroblock of the B picture is intended to be processed using an image at the same time in the lower layer as a reference picture, the process proceeds to step S21,
処理対象のBピクチャのマクロブロックについてのMO MO of macroblock of the B picture to be processed
DBが0であるかどうかが判定される。 Whether the DB is 0 is determined.

【0328】ステップS21において、処理対象のBピクチャのマクロブロックについてのMODBが0であると判定された場合、ステップS22に進み、その処理対象のマクロブロックは、スキップマクロブロックであると決定され、そのように取り扱われる。 [0328] In step S21, if the MODB of the macro block of the B picture to be processed is determined to be 0, the process proceeds to step S22, the macro block of the processing object is determined to be a skip macro-block, It is so treated. また、ステップS21において、処理対象のBピクチャのマクロブロックについてのMODBが0でないと判定された場合、ステップS23に進み、図38のステップS3における場合と同様に、通常の処理が行われる。 Further, in step S21, if the MODB of the macro block of the B picture to be processed is not 0 determined, the process proceeds to step S23, as in step S3 of FIG. 38, the normal processing is performed.

【0329】即ち、いま、処理すべき上位レイヤの画像(VOP)として、例えば、図40(C)に示すように、I/P,B,B,・・・というシーケンスで表示されるものがあり、また、下位レイヤの画像としても、同様のシーケンスで表示されるものがあるとする。 [0329] That is, now, as an image of the upper layer to be processed (VOP), for example, as shown in FIG. 40 (C), I / P, B, B, those which are displayed in the sequence of ... There, also as the image of the lower layer, and there is displayed in the same sequence. さらに、これらの下位レイヤの画像と上位レイヤの画像とが交互に符号化/復号化されるものとする。 Further, it is assumed that the image of the image and the upper layer of the lower layer is encoded / decoded alternately. なお、上位レイヤのBピクチャについてのref_select_c Incidentally, Ref_select_c for B-picture of the upper layer
odeが「00」である場合には、画像の符号化/復号化の順序は、このようになる。 When ode is "00", the order of encoding / decoding of the image is thus.

【0330】この場合において、ref_select [0330] In this case, ref_select
_codeの値を、ステップS15において判定しないとすると、即ち、図38で説明した場合と同様の処理を行うとすると、処理対象の上位レイヤのBピクチャのマクロブロックが、図40(C)に示したように、下位レイヤの同一時刻における画像(拡大画像)、または上位レイヤにおける直前の復号画像(最も左のI/Pピクチャ)を参照画像として用いて符号化/復号化され、そのBピクチャより後のフレームは参照されないのにもかかわらず、そのような後のフレームにおける対応マクロブロックについてのCOD(またはMODB)の値によって、処理対象のマクロブロックがスキップマクロブロックかどうかが決定されることになる。 The value of _CODE, when not judged in step S15, i.e., when performing the same processing as described in FIG. 38, the macroblock of the B picture of the upper layer to be processed is, shown in FIG. 40 (C) and so are encoded / decoded using an image (enlarged image), or the immediately preceding decoded picture in the upper layer (leftmost I / P picture) at the same time in the lower layer as a reference picture, from the B-picture the frame despite not referenced after, the value of COD (or MODB) for the corresponding macroblock in the frame after such, that the macro-block to be processed whether a skip macroblock is determined Become.

【0331】しかしながら、処理対象のマクロブロックを符号化/復号化する際に参照されないフレームに基づいて、そのマクロブロックがスキップマクロブロックかどうかを判定するのは好ましくない。 [0331] However, on the basis of not a reference frame in encoding / decoding the macroblock to be processed, it is not preferable to determine whether the macroblock or skipped macroblocks.

【0332】そこで、図39の実施の形態においては、 [0332] Therefore, in the embodiment of FIG. 39,
上位レイヤのBピクチャについては、ref_sele For B-pictures of the upper layer is, Ref_sele
ct_codeに基づき、それが「00」である場合、 Based on the ct_code, if it is a "00",
即ち、そのBピクチャのマクロブロックが、図40 That is, a macroblock of the B picture, FIG. 40
(C)に示したように、下位レイヤの同一時刻における画像(拡大画像)、または上位レイヤにおける直前の復号画像(最も左のI/Pピクチャ)を参照画像として用いて処理される場合には、それ以降のフレームにおける対応マクロブロックについてのCODまたはMODBとは無関係に、その処理対象のBピクチャのマクロブロックについてのMODBにしたがって、スキップマクロブロックかどうかが決定される。 As shown (C), the when it is processed with an image (enlarged image), or immediately before the decoded picture in the upper layer (leftmost I / P picture) at the same time in the lower layer as a reference picture , regardless of the COD or MODB for the corresponding macro-block in the subsequent frame, in accordance MODB for the macro block of the B picture of the processing target, whether a skip macroblock is determined.

【0333】なお、ref_select_codeが「00」である場合において、処理対象のBピクチャのマクロブロックについてのMODBが0となるのは、参照画像として、下位レイヤの同一時刻における画像ではなく、上位レイヤにおける直前の復号画像(最も左のI [0333] Incidentally, in the case ref_select_code is "00", the MODB of the macro block of the B picture to be processed is 0, as the reference picture, rather than the image at the same time the lower layer, the upper layer immediately preceding decoded image (the leftmost I
/Pピクチャ)を用いたときであるのが一般的であるから、その処理対象のマクロブロックについての処理(予測符号化/復号化)は、その直前の復号画像を参照画像とし、動きベクトルは0として行われる。 / P picture) and in that the because it is common when used, processing for macro-block of the processed (predictive coding / decoding) is a reference picture decoded image of the immediately preceding, a motion vector It is carried out as a 0.

【0334】以上、スキップマクロブロックの処理について説明したが、このような処理を行う場合において、 [0334] Having described the processing of skipped macroblocks, in the case of performing such processing,
処理対象のマクロブロックが上位レイヤまたは下位レイヤのうちのいずれのものであるかの判定は、図24で説明したフラグscalabilityに基づいて行われる。 Macroblock to be processed is determined whether any of those of the upper layer or the lower layer is performed based on the flag scalability described in FIG 24.

【0335】ここで、図12の動きベクトル検出器3 [0335] Here, the movement of the 12 vector detector 3
2、VLC器36、および動き補償器42に下位レイヤのCODが供給されるのは、次のような理由による。 2, the VLC unit 36, and motion compensator 42 of the lower layer COD is supplied for the following reason.

【0336】即ち、例えば、図14に示した時間スケーラビリティの場合、上述したように、上位レイヤの予測に下位レイヤの画像が参照画像として用いられる。 [0336] That is, for example, in the case of temporal scalability shown in FIG. 14, as described above, the image of the lower layer is used as a reference image for prediction of the upper layer. この場合、例えば、下位レイヤのVOP0、上位レイヤのV In this case, for example, the lower layer VOP0, the upper layer V
OP1、下位レイヤのVOP2は、時間的に連続する画像であり、従って、このような3つのVOP1,VOP OP1, VOP2 of the lower layer are temporally continuous images, therefore, in such a three VOP1, VOP
2,VOP3が、図40(A)で説明した条件を満たせば、上位レイヤのVOP1のマクロブロックはスキップマクロブロックということになる。 2, VOP3 is, satisfies the conditions described in FIG. 40 (A), a macro block of VOP1 upper layer will be referred to as skipped macroblocks. そして、マクロブロックがスキップマクロブロックであれば、そのマクロブロックは特に処理せずに済む。 Then, if the macroblock is a skipped macroblock, the macroblock is unnecessary to particularly process. 一方、図40(A)で説明した条件を満たすかどうかの判断は、下位レイヤのV On the other hand, satisfies determination of whether described in FIG. 40 (A), the lower layer V
OP2のCODが必要であり、このため、図12の上位レイヤ符号化部23における動きベクトル検出器32、 OP2 of COD are required, Thus, the motion in the upper layer encoding unit 23 of FIG. 12 vector detector 32,
VLC器36、および動き補償器42には、下位レイヤのCODが供給されるようになされている。 VLC unit 36, and the motion compensator 42, are adapted to COD of the lower layer is supplied.

【0337】次に、現在、MPEG4では、予測モードがダイレクトである場合を除き、マクロブロックのDC [0337] Next, the current, in MPEG4, except when the prediction mode is the direct, of the macro block DC
T係数すべてが、量子化により、例えば、0などの所定の値になる場合(DCT係数が存在しない場合)であっても、量子化ステップについてのDQUANTを伝送すべきことが規定されているが、マクロブロックのDCT All T coefficients, the quantization, for example, even when a predetermined value such as 0 (if DCT coefficients does not exist), but it should transmit DQUANT of the quantization step is defined , DCT of the macro block
係数が存在しない場合に、DQUANTを伝送するのは冗長である。 If the coefficient is not present, it is redundant to transmit DQUANT.

【0338】そこで、図11および図12のVLC器3 [0338] Thus, VLC circuit 3 of FIG. 11 and FIG. 12
6、並びに図19および図20のIVLC器102では、量子化ステップDQUANTが、次のように扱われるようになされている。 6, as well as the IVLC 102 of FIG. 19 and FIG. 20, the quantization step DQUANT have been adapted to be handled as follows.

【0339】即ち、まず最初に、ステップS51において、CBPBが0であるかどうかが判定され、CBPB [0339] That is, first, in step S51, it is determined whether CBPB is 0, CBPB
が0であると判定された場合、マクロブロックのDCT If but it is determined to be 0, DCT macroblock
係数は存在しないため、ステップS56に進み、量子化ステップは無視され(エンコーダ側では量子化ステップDQUANTは伝送されず、デコーダ側ではビットストリームからの量子化ステップDQUANTの抽出は行われない(行うことができない))、処理を終了する。 Because the coefficient is not present, the process proceeds to step S56, the quantization step is disregarded (the quantization step DQUANT is the encoder side is not transmitted, the extraction at the decoder side of the quantization step DQUANT from the bit stream is not performed (to perform can not)), the process is terminated.

【0340】ここで、図30で説明したように、CBP [0340] Here, as described above with reference to FIG. 30, CBP
Bは伝送されない場合があるが、この場合には、ステップS51の処理はスキップされ、ステップS52の処理が行われる。 While B may not be transmitted, in this case, the processing of step S51 is skipped, the process of step S52 is performed.

【0341】一方、ステップS51において、CBPB [0341] On the other hand, in step S51, CBPB
が0でないと判定された場合、ステップS52に進み、 If There where not 0 is determined, the process proceeds to step S52,
MODBが0であるか否が判定される。 Whether MODB is zero is determined. ステップS52 Step S52
において、MODBが「0」であると判定された場合、 In, if the MODB is determined to be "0",
図30で説明したように、CBPBは伝送されず、従って、マクロブロックのDCT係数は存在しないため、ステップS56に進み、量子化ステップは無視され、処理を終了する。 As described in FIG. 30, CBPB is not transmitted, therefore, since the DCT coefficients of the macro block does not exist, the process proceeds to step S56, the quantization step is disregarded, the process ends.

【0342】また、ステップS52において、MODB [0342] In addition, in step S52, MODB
が「0」でないと判定された場合、ステップS53に進み、MODBテーブルAまたはBのうちのいずれが、M If is it is determined not to be "0", the flow proceeds to step S53, which of the MODB tables A or B, M
ODBの可変長符号化/可変長復号化に用いられるのかが判定される。 Whether used in the variable length coding / variable length decoding of ODB it is determined. ステップS53において、MODBテーブルBが用いられると判定された場合、ステップS54 In step S53, if it is determined that the MODB table B is used, step S54
をスキップして、ステップS55に進む。 A is skipped, and the flow proceeds to step S55. また、ステップS53において、MODBテーブルAが用いられると判定された場合、ステップS54に進み、MODBが「10」であるかどうかが判定される。 Further, in step S53, if it is determined that the MODB table A is used, the process proceeds to step S54, whether MODB is "10" is determined.

【0343】ステップS54において、MODBが「1 [0343] In the step S54, MODB is "1
0」であると判定された場合、即ち、MODBテーブルAが用いられる場合であって、MODBが「10」である場合、やはり図30で説明したように、CBPBは伝送されず、従って、マクロブロックのDCT係数は存在しないため、ステップS56に進み、量子化ステップは無視され、処理を終了する。 If it is determined to be 0 ", i.e., in a case where the MODB table A is used, if the MODB is" 10 ", also as described in FIG. 30, CBPB is not transmitted, thus, macro since DCT coefficients of a block does not exist, the process proceeds to step S56, the quantization step is disregarded, the process ends.

【0344】一方、ステップS54において、MODB [0344] On the other hand, in step S54, MODB
が「10」でないと判定された場合、量子化ステップについての処理が行われ(エンコーダ側では量子化ステップDQUANTが伝送され、デコーダ側ではビットストリームからの量子化ステップDQUANTの抽出が行われ)、処理を終了する。 If is it is determined not "10", the processing for the quantization step is performed (quantization step DQUANT is transmitted on the encoder side, extracting the quantization step DQUANT from the bit stream is performed at the decoder side), the process is terminated.

【0345】以上のように、マクロブロックのDCT係数が存在しないとき、即ち、CBPBが0のとき、MO [0345] As described above, when the DCT coefficients of the macro block does not exist, that is, when CBPB is 0, MO
DBテーブルAを用いる場合においてMODBが「0」 MODB in the case of using the DB table A is "0"
または「10」のとき、およびMODBテーブルBを用いる場合においてMODBが「0」のときには、量子化ステップを無視するようにしたので、データの冗長度を低減することができる。 Or when "10", and in the case of using the MODB table B when MODB is "0", since to ignore the quantization step, it is possible to reduce the redundancy of data.

【0346】なお、CBPBが伝送されるが、その値が「0」である場合というのは、MODBテーブルAまたはBを用いてMODBが「11」または「10」とそれぞれされる場合であるが、そのような場合は、MODB [0346] Although CBPB is transmitted, its value is that if it is "0", but if the MODB using MODB tables A or B is respectively "11" or "10" , in such a case, MODB
が「10」または「0」をそれぞれ用いれば済むので、 But because it suffices to use "10" or "0", respectively,
基本的には生じない。 It does not occur basically. 従って、図41の実施の形態では、最初のステップS51において、CBPBの値を判定するようにしたが、この判定処理は、処理効率の観点からは、ステップS55の処理の直前に行うようにするのが望ましい。 Thus, in the embodiment of FIG. 41, in a first step S51, it has been possible to determine the value of CBPB, this determination process, from the viewpoint of processing efficiency, to perform immediately before step S55 It is desirable.

【0347】また、図41の処理は、上述の第1および第2の方法のいずれを用いる場合にも適用可能である。 [0347] The processing of FIG. 41 is also applicable to a case of using any of the first and second methods described above.

【0348】以上のように、位置や大きさの変換するV [0348] As described above, V to transform the position and size
Oを、絶対座標系に配置して処理するようにしたので、 The O, since to handle arranged on the absolute coordinate system,
VOごとの予測符号化/復号化が可能となり、また、V Predictive coding / decoding for each VO is possible, also, V
Oを対象としたスケーラビリティを実現することが可能となる。 O it is possible to achieve scalability intended for.

【0349】さらに、スキップマクロブロックの処理を、そのスキップマクロブロックに用いられる参照画像を示すフラグref_select_codeを考慮して決定するようにしたので、効率的な処理が可能となる。 [0349] Further, the processing of skipped macroblocks. Thus determined in consideration of the flag ref_select_code indicating the reference picture used for the skip macro-block, efficient processing becomes possible.

【0350】また、上位レイヤと下位レイヤの画像が同一である場合において、上位レイヤの予測符号化のための参照画像として、同一時刻における下位レイヤの復号画像を用いるときには、上位レイヤにおける動きベクトルは伝送せず、下位レイヤにおけるもののみを伝送するようにしたので、データ量を低減することが可能となる。 [0350] Also, in the case where the image of the upper layer and lower layer are the same, as a reference picture for predictive coding of the upper layer, when using the decoded image of the lower layer at the same time, the motion vector in the upper layer without transmitting. Thus it transmits only those in the lower layer, it is possible to reduce the amount of data.

【0351】なお、本実施の形態においてマクロブロック単位で行われると説明した処理は、マクロブロック単位以外の単位で行うようにすることも可能である。 [0351] Incidentally, the processing described as being performed in units of macroblocks in the present embodiment, it is also possible to perform a unit other than the macro-block units.

【0352】また、本実施の形態では、2種類のMOD [0352] In addition, in the present embodiment, two types of MOD
BテーブルAおよびBを用意し、いずれか一方を選択して用いるようにしたが、MODBテーブルは3種類以上用意することも可能である。 Providing a B table A and B, have been so selected and used either, the MODB table it is also possible to prepare three or more types. このことは、MBTYPE This means that, MBTYPE
テーブルについても同様である。 The same applies to the table.

【0353】 [0353]

【発明の効果】請求項1に記載の画像符号化装置および請求項2に記載の画像符号化方法によれば、第1および第2の画像の解像度の違いに基づいて、第2の画像が拡大または縮小され、それを参照画像として、第1の画像の予測符号化が行われる。 Effects of the Invention] According to the image encoding method according to the image coding apparatus and claim 2 of claim 1, based on the resolution difference between the first and second image, the second image enlarged or be reduced, as a reference image it, predictive coding of the first image. 一方、所定の絶対座標系における第1および第2の画像の位置が決定され、その第1 On the other hand, the position of the first and second images in a predetermined absolute coordinate system are determined, the first
または第2の画像の位置それぞれに関する第1または第2の位置情報が出力される。 Or position the first or second position information for each of the second image is outputted. この場合において、第1の位置情報に基づいて、第1の画像の位置が認識されるとともに、第2の画像を拡大または縮小したときの拡大率または縮小率に対応して、第2の位置情報が変換され、 In this case, based on the first position information, together with the position of the first image is recognized, corresponding to the enlargement ratio or reduction ratio when enlarging or reducing the second image, the second position information is converted,
その変換結果に対応する位置が、参照画像の位置として認識され、予測符号化が行われる。 As a conversion result to the corresponding position, is recognized as the position of the reference picture prediction coding is performed. 従って、例えば、時刻とともに、位置が変化する画像を対象としたスケーラビリティを実現することが可能となる。 Thus, for example, together with the time, it is possible to achieve scalability intended for image position changes.

【0354】請求項3に記載の画像復号化装置および [0354] The image decoding apparatus according to claim 3 and
求項4に記載の画像復号化方法によれば、第1および第2の画像の解像度の違いに基づいて、復号化された第2 According to the image decoding method according to Motomeko 4, first on the basis of the resolution difference between the first and second images, the decoded 2
の画像が拡大または縮小され、それを参照画像として、 The enlarged image of or reduced, as a reference image it,
第1の画像が復号化される。 First image is decoded. そして、符号化データが、 Then, encoded data,
所定の絶対座標系における第1または第2の画像の位置それぞれ関する第1または第2の位置情報を含んでいる場合、第1の位置情報に基づいて、第1の画像の位置が認識されるとともに、第2の画像を拡大または縮小したときの拡大率または縮小率に対応して、第2の位置情報が変換され、その変換結果に対応する位置が、参照画像の位置として認識され、第1の画像の復号化が行われる。 If it contains the first or the first or second position information regarding each position of the second image in a predetermined absolute coordinate system, based on the first position information, the position of the first image is recognized together, in correspondence with the enlargement ratio or reduction ratio when enlarging or reducing the second image is converted second location information, the result of the conversion to the corresponding position, is recognized as the position of the reference image, the decoding of the first image. 従って、例えば、時刻とともに、位置が変化する画像を対象としたスケーラビリティを実現することが可能となる。 Thus, for example, together with the time, it is possible to achieve scalability intended for image position changes.

【0355】 [0355]

【0356】 [0356]

【0357】 [0357]

【0358】 [0358]

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明を適用したエンコーダの一実施の形態を示すブロック図である。 1 is a block diagram showing an embodiment of an encoder according to the present invention.

【図2】時刻によって、VOの位置、大きさが変化することを説明するための図である。 By [2] times, positions of the VO, which is a diagram for explaining that a change in size.

【図3】図1のVOP符号化部31乃至3Nの構成例を示すブロック図である。 3 is a block diagram showing a configuration example of VOP encoding unit 31 to 3N of Figure 1.

【図4】図1のVOP符号化部31乃至3Nの他の構成例を示すブロック図である。 4 is a block diagram illustrating another configuration example of the VOP encoding unit 31 to 3N of Figure 1.

【図5】空間スケーラビリティを説明するための図である。 FIG. 5 is a diagram for explaining spatial scalability.

【図6】空間スケーラビリティを説明するための図である。 FIG. 6 is a diagram for explaining the space scalability.

【図7】空間スケーラビリティを説明するための図である。 FIG. 7 is a diagram for explaining the space scalability.

【図8】空間スケーラビリティを説明するための図である。 FIG. 8 is a diagram for explaining the space scalability.

【図9】VOPのサイズデータおよびオフセットデータの決定方法を説明するための図である。 9 is a diagram for explaining a method of determining the size data and offset data of VOP.

【図10】VOPのサイズデータおよびオフセットデータの決定方法を説明するための図である。 10 is a diagram for explaining a method of determining the size data and offset data of VOP.

【図11】図4の下位レイヤ符号化部25の構成例を示すブロック図である。 11 is a block diagram showing a configuration example of a low-level-layer encoding unit 25 of FIG.

【図12】図4の上位レイヤ符号化部23の構成例を示すブロック図である。 12 is a block diagram showing a configuration example of a high-level-layer encoding unit 23 of FIG.

【図13】空間スケーラビリティを説明するための図である。 13 is a diagram for explaining spatial scalability.

【図14】時間スケーラビリティを説明するための図である。 14 is a diagram for explaining time scalability.

【図15】リファレンシャルセレクトコード(ref_sele [15] referential select code (ref_sele
ct_code)を説明するための図である。 Ct_code) is a diagram for explaining the.

【図16】本発明を適用したデコーダの一実施の形態の構成を示すブロック図である。 16 is a block diagram showing the configuration of an embodiment of a decoder according to the present invention.

【図17】図16のVOP復号部721乃至72Nの構成例を示すブロック図である。 17 is a block diagram showing a configuration example of a VOP decoding part 721 to 72N of Figure 16.

【図18】図16のVOP復号部721乃至72Nの他の構成例を示すブロック図である。 18 is a block diagram illustrating another configuration example of the VOP decoding section 721 to 72N of Figure 16.

【図19】図18の下位レイヤ復号部95の構成例を示すブロック図である。 19 is a block diagram showing a configuration example of a lower layer decoding unit 95 of FIG. 18.

【図20】図18の上位レイヤ復号部93の構成例を示すブロック図である。 FIG. 20 is a block diagram showing a configuration example of the high-level-layer decoding unit 93 of FIG. 18.

【図21】スケーラブル符号化によって得られるビットストリームのシンタクスを示す図である。 21 is a diagram illustrating the syntax of a bit stream obtained scalable coding.

【図22】VSのシンタクスを示す図である。 FIG. 22 is a diagram illustrating the syntax of VS.

【図23】VOのシンタクスを示す図である。 FIG. 23 is a diagram illustrating the syntax of the VO.

【図24】VOLのシンタクスを示す図である。 FIG. 24 is a diagram illustrating the syntax of the VOL.

【図25】VOPのシンタクスを示す図である。 FIG. 25 is a diagram illustrating the syntax of the VOP.

【図26】VOPのシンタクスを示す図である。 FIG. 26 is a diagram illustrating the syntax of the VOP.

【図27】diff_size_horizontalおよびdiff_size_vert [Figure 27] diff_size_horizontal and diff_size_vert
icalの可変長符号を示す図である。 It is a diagram showing a variable length code ical.

【図28】diff_VOP_horizontal_refおよびdiff_VOP_ve [Figure 28] diff_VOP_horizontal_ref and diff_VOP_ve
rtical_refの可変長符号を示す図である。 It is a diagram showing a variable length code Rtical_ref.

【図29】マクロブロックのシンタクスを示す図である。 FIG. 29 is a diagram illustrating the syntax of the macro block.

【図30】MODBの可変長符号を示す図である。 30 is a diagram showing a variable length code MODB.

【図31】マクロブロックの構成例を示す図である。 31 is a diagram showing an example of a structure of the macro block.

【図32】MBTYPEの可変長符号を示す図である。 32 is a diagram showing a variable length code of MBTYPE.

【図33】ダイレクトモードによる予測符号化を説明するための図である。 33 is a diagram for explaining the predictive coding by the direct mode.

【図34】上位レイヤのBピクチャの予測符号化を説明するための図である。 34 is a diagram for explaining the predictive coding of B-pictures of the upper layer.

【図35】準ダイレクトモードを説明するための図である。 FIG. 35 is a diagram for explaining a quasi-direct mode.

【図36】下位レイヤについて用いる可変長テーブルの決定方法を説明するためのフローチャートである。 36 is a flowchart for explaining a method of determining the variable length table used for the lower layer.

【図37】上位レイヤについて用いる可変長テーブルの決定方法を説明するためのフローチャートである。 It is a flow chart for explaining a method of determining the variable length table used for FIG. 37 upper layer.

【図38】下位レイヤにおけるスキップマクロブロックについての処理を説明するためのフローチャートである。 38 is a flowchart for explaining the processing for a skip macro-block in the lower layer.

【図39】上位レイヤにおけるスキップマクロブロックについての処理を説明するためのフローチャートである。 FIG. 39 is a flowchart for explaining the processing for a skip macro-block in the upper layer.

【図40】スキップマクロブロックについての処理を説明するための図である。 FIG. 40 is a diagram for explaining the processing for a skip macro-block.

【図41】量子化ステップDQUANTについての処理を説明するためのフローチャートである。 FIG. 41 is a flowchart for explaining the processing for the quantization step DQUANT.

【図42】従来のエンコーダの一例の構成を示すブロック図である。 FIG. 42 is a block diagram showing an example of a configuration of a conventional encoder.

【図43】従来のデコーダの一例の構成を示すブロック図である。 FIG. 43 is a block diagram showing an example of a configuration of a conventional decoder.

【図44】従来のスケーラブル符号化を行うエンコーダの一例の構成を示すブロック図である。 FIG. 44 is a block diagram showing an example of a configuration of an encoder which performs the conventional scalable coding.

【図45】図44の下位レイヤ符号化部202の構成例を示すブロック図である。 It is a block diagram showing a configuration example of a low-level-layer encoding unit 202 of FIG. 45 FIG. 44.

【図46】図44の上位レイヤ符号化部201の構成例を示すブロック図である。 FIG. 46 is a block diagram showing a configuration example of a high-level-layer encoding unit 201 of FIG. 44.

【図47】従来のスケーラブル復号化を行うデコーダの一例の構成を示すブロック図である。 FIG. 47 is a block diagram showing an example of the configuration of a decoder for conventional scalable decoding.

【図48】図47の下位レイヤ復号化部232の構成例を示すブロック図である。 FIG. 48 is a block diagram showing a configuration example of a lower layer decoding unit 232 of FIG. 47.

【図49】図47の上位レイヤ復号化部231の構成例を示すブロック図である。 FIG. 49 is a block diagram showing a configuration example of the upper layer decoding unit 231 of FIG. 47.

【図50】従来の画像合成方法を説明するための図である。 50 is a diagram for explaining a conventional image composition method.

【図51】画像の再編集および再合成を可能とする符号化方法を説明するための図である。 51 is a diagram for explaining a coding method that enables re-editing and re-synthesis of the images.

【図52】画像の再編集および再合成を可能とする復号化方法を説明するための図である。 52 is a view for explaining a decoding method which enables re-editing and re-synthesis of the images.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 VO構成部, 21乃至2N VOP構成部, 31 1 VO constructing unit, 21 to 2N VOP constructing unit, 31
乃至3N VOP符号化部, 4 多重化部, 21 To 3N VOP encoding unit, 4 multiplexing unit, 21
画像階層化部, 23 上位レイヤ符号化部,24 解像度変換部, 25 下位レイヤ符号化部, 26 多重化部, 31フレームメモリ, 32 動きベクトル検出器, 33 演算器, 34 DCT器, 35 Image layering section, 23 upper layer encoding section, 24 resolution converter, 25 low-level-layer encoding unit, 26 multiplexer, 31 a frame memory, 32 motion vector detector, 33 calculator, 34 DCT unit, 35
量子化器, 36 VLC器, 38 逆量子化器, Quantizer 36 VLC unit, 38 inverse quantizer,
39IDCT器, 40 演算器, 41 フレームメモリ, 42 動き補償器,43 キー信号符号化部, 39IDCT unit, 40 computing unit, 41 frame memory, 42 motion compensator, 43 key signal encoding unit,
44 キー信号復号部, 51 キー信号符号化部, 44 key signal decoding unit 51 the key signal encoding unit,
52 キー信号復号部, 53 フレームメモリ, 52 key signal decoding unit 53 a frame memory,
71 逆多重化部,721乃至72N VOP復号部, 71 demultiplexer, 721 to 72N VOP decoding section,
73 画像再構成部, 91 逆多重化部, 93 上位レイヤ復号部, 94 解像度変換部, 95 下位レイヤ復号部, IVLC器, 103 逆量子化器, 73 image reconstruction unit, 91 demultiplexer, 93 upper layer decoding unit, 94 resolution conversion unit, 95 a lower layer decoding unit, IVLC unit, 103 an inverse quantizer,
104 IDCT器, 105演算器, 106 フレームメモリ, 107 動き補償器, 108,11 104 IDCT unit, 105 operation unit, 106 frame memory, 107 a motion compensator, 108,11
1キー信号復号部, 112 フレームメモリ 1 key signal decoding unit, 112 frame memory

Claims (4)

    (57)【特許請求の範囲】 (57) [the claims]
  1. 【請求項1】 第1の画像を、その第1の画像と異なる解像度の第2の画像を用いて符号化する画像符号化装置であって、 前記第1および第2の画像の解像度の違いに基づいて、 The method according to claim 1 first image, an image encoding apparatus for encoding by using the second image resolution different from its first image, the difference of resolution of the first and second image On the basis of the,
    前記第2の画像を拡大または縮小する拡大縮小手段と、 前記拡大縮小手段の出力を参照画像として、前記第1の画像の予測符号化を行う第1画像符号化手段と、 前記第2の画像を符号化する第2画像符号化手段と、 所定の絶対座標系における前記第1および第2の画像の位置を決定し、その第1または第2の画像の位置それぞれに関する第1または第2の位置情報を出力する位置決定手段と、 前記第1画像符号化手段、第2画像符号化手段、および位置決定手段の出力を多重化する多重化手段とを備え、 前記第1画像符号化手段は、前記第1の位置情報に基づいて、前記第1の画像の位置を認識するとともに、前記拡大縮小手段が前記第2の画像を拡大または縮小したときの拡大率または縮小率に対応して、前記第2の位置情報を変換し Wherein the scaling means second image to enlarge or reduce the, as a reference image the output of the scaling means, a first image encoding means for performing predictive coding of the first image, the second image and a second image coding means for coding, a predetermined absolute coordinate position of the first and second images to determine the system, the first or second of the image, respectively the first or second relating to the position of and position determining means for outputting position information, the first image encoding means, second picture encoding means, and the output of the position determining means and a multiplexing means for multiplexing said first image encoding means , based on the first position information, it recognizes the position of the first image, corresponding to the enlargement ratio or reduction ratio when the scaling means is enlarged or reduced the second image, converting the second position information その変換結果に対応する位置を、前記参照画像の位置として認識し、予測符号化を行うことを特徴とする画像符号化装置。 The position corresponding to the conversion result, confirmed as the position of the reference image, the image coding apparatus and performing predictive coding.
  2. 【請求項2】 第1の画像を、その第1の画像と異なる解像度の第2の画像を用いて符号化する画像符号化装置の画像符号化方法であって、 前記画像符号化装置は、 前記第1および第2の画像の解像度の違いに基づいて、 2. A method first image, an image encoding method of the image encoding apparatus for encoding by using the second image resolution different from its first image, the image coding apparatus, based on the resolution difference between the first and second images,
    前記第2の画像を拡大または縮小する拡大縮小手段と、 前記拡大縮小手段の出力を参照画像として、前記第1の画像の予測符号化を行う第1画像符号化手段と、 前記第2の画像を符号化する第2画像符号化手段と、 所定の絶対座標系における前記第1および第2の画像の位置を決定し、その第1または第2の画像の位置それぞれに関する第1または第2の位置情報を出力する位置決定手段と、 前記第1画像符号化手段、第2画像符号化手段、および位置決定手段の出力を多重化する多重化手段とを備え、 前記第1画像符号化手段に、前記第1の位置情報に基づいて、前記第1の画像の位置を認識させるとともに、前記拡大縮小手段が前記第2の画像を拡大または縮小したときの拡大率または縮小率に対応して、前記第2の位置情報を変換 Wherein the scaling means second image to enlarge or reduce the, as a reference image the output of the scaling means, a first image encoding means for performing predictive coding of the first image, the second image and a second image coding means for coding, a predetermined absolute coordinate position of the first and second images to determine the system, the first or second of the image, respectively the first or second relating to the position of and position determining means for outputting position information, the first image encoding means, second picture encoding means, and the output of the position determining means and a multiplexing means for multiplexing, into the first image encoding means , on the basis of the first position information, together to recognize the position of the first image, corresponding to the enlargement ratio or reduction ratio when the scaling means is enlarged or reduced the second image, converting said second position information せ、その変換結果に対応する位置を、前記参照画像の位置として認識させ、予測符号化を行わせることを特徴とする画像符号化方法。 Thereby, a position corresponding to the conversion result, is recognized as the position of the reference image, image coding method, characterized in that to perform predictive coding.
  3. 【請求項3】 第1の画像を、その第1の画像と異なる解像度の第2の画像を用いて予測符号化した符号化データを復号化する画像復号化装置であって、 前記第2の画像を復号化する第2画像復号化手段と、 前記第1および第2の画像の解像度の違いに基づいて、 The wherein the first image is an image decoding apparatus for decoding a predictively coded encoded data by using the second image resolution different from its first image, the second a second image decoding means for decoding an image, based on the resolution difference between the first and second images,
    前記第2画像復号化手段により復号化された前記第2の画像を拡大または縮小する拡大縮小手段と、 前記拡大縮小手段の出力を参照画像として、前記第1の画像の復号化する第1画像復号化手段とを備え、 前記符号化データは、所定の絶対座標系における前記第1または第2の画像の位置それぞれ関する第1または第2の位置情報を含み、 前記第1画像復号化手段は、前記第1の位置情報に基づいて、前記第1の画像の位置を認識するとともに、前記拡大縮小手段が前記第2の画像を拡大または縮小したときの拡大率または縮小率に対応して、前記第2の位置情報を変換し、その変換結果に対応する位置を、前記参照画像の位置として認識し、前記第1の画像の復号化を行うことを特徴とする画像復号化装置。 And scaling means for enlarging or reducing the second image decoded by the second picture decoding unit, as a reference image to output of the scaling means, the first image for decoding of the first image and a decoding means, the encoded data includes first or second position information regarding each position of the first or second image in a predetermined absolute coordinate system, the first image decoding means , based on the first position information, it recognizes the position of the first image, corresponding to the enlargement ratio or reduction ratio when the scaling means is enlarged or reduced the second image, the second converts the location information, a position corresponding to the conversion result, confirmed as the position of the reference image, the image decoding apparatus characterized by performing decoding of the first image.
  4. 【請求項4】 第1の画像を、その第1の画像と異なる解像度の第2の画像を用いて予測符号化した符号化データを復号化する画像復号化装置の画像復号化方法であって、 前記画像復号化装置は、 前記第2の画像を復号化する第2画像復号化手段と、 前記第1および第2の画像の解像度の違いに基づいて、 The 4. A first image is an image decoding method of the image decoding apparatus for decoding a predictively coded encoded data by using the second image resolution different from its first image the image decoding apparatus, and the second image decoding means for decoding the second image, based on the resolution difference between the first and second images,
    前記第2画像復号化手段により復号化された前記第2の画像を拡大または縮小する拡大縮小手段と、 前記拡大縮小手段の出力を参照画像として、前記第1の画像を復号化する第1画像復号化手段とを備え、 前記符号化データが、所定の絶対座標系における前記第1または第2の画像の位置それぞれ関する第1または第2の位置情報を含んでいる場合、 前記第1画像復号化手段に、前記第1の位置情報に基づいて、前記第1の画像の位置を認識させるとともに、前記拡大縮小手段が前記第2の画像を拡大または縮小したときの拡大率または縮小率に対応して、前記第2の位置情報を変換させ、その変換結果に対応する位置を、前記参照画像の位置として認識させ、前記第1の画像の復号化を行わせることを特徴とする画像復号化方法。 And scaling means for enlarging or reducing the second image decoded by the second picture decoding unit, as a reference image to output of the scaling means, the first image for decoding said first image and a decoding means, the encoded data is, if it contains the first or second position information regarding each position of the first or second image in a predetermined absolute coordinate system, the first image decoding the means, based on the first position information, together to recognize the position of the first image, corresponding to the enlargement ratio or reduction ratio when the scaling means is enlarged or reduced the second image to, to convert the second position information, image decoding the position corresponding to the conversion result, it is recognized as the position of the reference image, characterized in that to perform the decoding of the first image Method.
JP2000184491A 1996-09-09 2000-06-20 The image coding apparatus and image coding method, image decoding apparatus and method Expired - Fee Related JP3344576B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP26031296 1996-09-09
JP8-260312 1996-09-09
JP2000184491A JP3344576B2 (en) 1996-09-09 2000-06-20 The image coding apparatus and image coding method, image decoding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000184491A JP3344576B2 (en) 1996-09-09 2000-06-20 The image coding apparatus and image coding method, image decoding apparatus and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP08271512 Division

Publications (2)

Publication Number Publication Date
JP2001045496A JP2001045496A (en) 2001-02-16
JP3344576B2 true JP3344576B2 (en) 2002-11-11

Family

ID=26544549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000184491A Expired - Fee Related JP3344576B2 (en) 1996-09-09 2000-06-20 The image coding apparatus and image coding method, image decoding apparatus and method

Country Status (1)

Country Link
JP (1) JP3344576B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612829B1 (en) 2001-07-07 2006-08-18 삼성전자주식회사 A coding and decoding apparatus of the key data for graphic animation and method thereof
ES2665693T3 (en) * 2001-11-06 2018-04-26 Panasonic Intellectual Property Corporation Of America Coding method and moving picture decoding method of moving images
ES2588388T3 (en) * 2002-04-19 2016-11-02 Panasonic Intellectual Property Corporation Of America Method of calculation of motion vectors

Also Published As

Publication number Publication date
JP2001045496A (en) 2001-02-16

Similar Documents

Publication Publication Date Title
CA2255923C (en) Picture coding device, picture coding method, picture decoding device, picture decoding method, and providing medium
CN1253008C (en) Spatial scalable compression method and device
JP4611640B2 (en) Method of encoding a motion video sequence
EP1863295B1 (en) Coded block pattern encoding/decoding with spatial prediction
KR100620270B1 (en) Method and apparatus for transcoding compressed video bitstreams
Sikora MPEG digital video-coding standards
US6160849A (en) Selectable field and frame based predictive video coding
US8638849B2 (en) Transcoding system using encoding history information
CN1151684C (en) Moving-picture coding-decoding apparatus and method
US5991447A (en) Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
EP1187490B1 (en) A method for computational graceful degradation in an audiovisual compression system
Puri et al. Video coding using the H. 264/MPEG-4 AVC compression standard
ES2563295T3 (en) Decoding method of moving images using quantization matrices additional
US5412428A (en) Encoding method and decoding method of color signal component of picture signal having plurality resolutions
US6057884A (en) Temporal and spatial scaleable coding for video object planes
CA2142150C (en) Motion compensation for interlaced digital video signals
US8040950B2 (en) Method and apparatus for effectively compressing motion vectors in multi-layer structure
CN1251513C (en) Method and device for coding and decoding motion vector, method and device for coding and decoding image signal
JP3672185B2 (en) Coding systems and devices and recording medium using the same
US6483874B1 (en) Efficient motion estimation for an arbitrarily-shaped object
US20070291849A1 (en) Method and device for indicating quantizer parameters in a video coding system
KR100433516B1 (en) Transcoding method
CN1083213C (en) Picture signal transmitting method and apparatus
KR100322515B1 (en) Predictive coding method and decoding method for dynamic image
US6404814B1 (en) Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020801

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080830

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090830

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100830

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110830

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110830

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120830

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120830

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130830

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees