JP3343554B1 - Image prediction decoding method and image prediction encoding device - Google Patents
Image prediction decoding method and image prediction encoding deviceInfo
- Publication number
- JP3343554B1 JP3343554B1 JP2002081148A JP2002081148A JP3343554B1 JP 3343554 B1 JP3343554 B1 JP 3343554B1 JP 2002081148 A JP2002081148 A JP 2002081148A JP 2002081148 A JP2002081148 A JP 2002081148A JP 3343554 B1 JP3343554 B1 JP 3343554B1
- Authority
- JP
- Japan
- Prior art keywords
- block
- prediction
- image
- image data
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【要約】
【課題】 従来技術に比較して、ブロック内の冗長性を
除去することができ、より効率的に画像データを復号化
する。
【解決手段】 適応的に選択された予測ブロックの量子
化されたAC係数を用いて、カレントブロック(C)の
AC係数予測を行う。カレントブロック(C)のAC係
数予測のために選択された予測ブロックの量子化された
AC係数を、カレントブロック(C)の量子化ステップ
サイズと選択された予測ブロックの量子化ステップサイ
ズの比を用いてスケーリングする。AC係数予測の予測
結果を可変長符号化し、予測結果を用いて、カレントブ
ロック(C)の量子化されたAC係数を復元し、復元さ
れたカレントブロック(C)の量子化されたAC係数を
記憶する。カレントブロック(C)よりも遅れて符号化
されるブロックの符号化時には、選択された予測ブロッ
クの量子化されたAC係数として、記憶された量子化さ
れたAC係数を用いる。Abstract: PROBLEM TO BE SOLVED: To reduce redundancy in a block and to decode image data more efficiently as compared with the related art. SOLUTION: AC coefficients of a current block (C) are predicted using quantized AC coefficients of adaptively selected prediction blocks. The ratio between the quantization step size of the current block (C) and the quantization step size of the selected prediction block is calculated by calculating the quantized AC coefficient of the prediction block selected for the AC coefficient prediction of the current block (C). And scale. The prediction result of the AC coefficient prediction is subjected to variable-length encoding, the quantized AC coefficient of the current block (C) is restored using the prediction result, and the quantized AC coefficient of the restored current block (C) is calculated. Remember. When coding a block to be coded later than the current block (C), the stored quantized AC coefficients are used as the quantized AC coefficients of the selected prediction block.
Description
【0001】[0001]
【発明の属する技術分野】本発明は、画像予測符号化装
置及び方法、画像予測復号化装置及び方法、並びに記録
媒体に関する。特に、静止画又は動画である画像のデジ
タル画像データを、例えば光ディスクなどの記録媒体に
記憶し、又は通信回線を伝送するための画像予測符号化
装置及び方法、並びに、画像予測復号化装置及び方法に
関する。また、上記画像予測符号化方法のステップを含
むプログラムを記録した記録媒体、並びに、上記画像予
測復号化方法のステップを含むプログラムを記録した記
録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image prediction encoding apparatus and method, an image prediction decoding apparatus and method, and a recording medium. In particular, an image prediction encoding apparatus and method, and an image prediction decoding apparatus and method for storing digital image data of an image that is a still image or a moving image on a recording medium such as an optical disk or transmitting the communication line. About. Further, the present invention relates to a recording medium on which a program including the steps of the image prediction encoding method is recorded, and a recording medium on which a program including the steps of the image prediction decoding method is recorded.
【0002】[0002]
【従来の技術】デジタル画像を効率よく記憶し又は伝送
するには、圧縮符号化する必要がある。デジタル画像を
圧縮符号化するための方法として、JPEG(Joint Ph
otographic Experts Group)やMPEG(Motion Pictu
re Experts Group)に代表される離散コサイン変換(以
下、DCT変換という。)のほかに、サブバンド符号化
やウェーブレット符号化、フラクタル符号化などの波形
符号化方法がある。また、画像間の冗長な信号を取り除
くには動き補償を用いた画像間予測を行い、差分信号を
波形符号化する。2. Description of the Related Art Efficient storage or transmission of digital images requires compression encoding. As a method for compressing and encoding digital images, JPEG (Joint Ph
otographic Experts Group) and MPEG (Motion Pictu
In addition to discrete cosine transform (hereinafter, referred to as DCT transform) represented by re-Experts Group, there are waveform coding methods such as subband coding, wavelet coding, and fractal coding. In order to remove redundant signals between images, inter-image prediction using motion compensation is performed, and the difference signal is waveform-encoded.
【0003】MPEGの方式では、入力画像を複数の1
6×16のマクロブロックに分割して処理する。1つの
マクロブロックをさらに8×8のブロックに分割し、8
×8のDCT変換処理を施してから量子化する。これは
フレーム内符号化と呼ばれる。In the MPEG system, an input image is divided into a plurality of ones.
Processing is performed by dividing the macroblock into 6 × 16 macroblocks. One macroblock is further divided into 8 × 8 blocks,
Quantization is performed after performing DCT transform processing of × 8. This is called intra-frame coding.
【0004】一方、ブロックマッチングをはじめとする
動き検出方法で、時間に隣接する別のフレームの中から
対象マクロブロックに誤差の最も小さい予測マクロブロ
ックを検出し、検出された予測マクロブロックを対象マ
クロブロックから減算し、差分マクロブロックを生成
し、8×8のDCT変換を施してから量子化する。これ
をフレーム間符号化と呼び、予測マクロブロックを時間
領域の予測信号と呼ぶ。このようにMPEGでは、同じ
フレームの中から画像を予測していない。On the other hand, by a motion detection method such as block matching, a prediction macroblock having the smallest error as a target macroblock is detected from another frame adjacent to time, and the detected prediction macroblock is determined as a target macroblock. The block is subtracted from the block to generate a difference macroblock, subjected to an 8 × 8 DCT transform, and then quantized. This is called inter-frame coding, and the predicted macroblock is called a time-domain predicted signal. In this way, MPEG does not predict an image from the same frame.
【0005】通常の画像は空間的に似ている領域が多
く、この性質を用いて空間領域に画像を近似することが
できる。時間領域の予測信号と同じように、同じフレー
ムの中から予測信号を求めることも可能である。これを
空間領域の予測信号と呼ぶ。An ordinary image has many spatially similar regions, and by using this property, an image can be approximated to a spatial region. Similarly to the prediction signal in the time domain, the prediction signal can be obtained from the same frame. This is called a spatial domain prediction signal.
【0006】空間的に近接する2つの画素値が近いた
め、空間領域の予測信号は一般的に対象信号に近い位置
にある。一方、受信側又は再生側では、原画像がないた
め、予測信号は過去において符号化し再生された信号を
用いる必要がある。この2つの要素から、空間領域の予
測信号を高速に生成する必要がある。画素値を復号化し
再生した後すぐに予測信号の生成に用いられるからであ
る。[0006] Since two spatially close pixel values are close to each other, the predicted signal in the spatial domain is generally located at a position close to the target signal. On the other hand, on the receiving side or the reproducing side, since there is no original image, it is necessary to use a signal encoded and reproduced in the past as the prediction signal. It is necessary to rapidly generate a spatial domain prediction signal from these two factors. This is because the pixel value is used for generating a prediction signal immediately after decoding and reproduction.
【0007】従って、空間領域の予測信号を簡単かつ高
精度に生成する必要がある。また、符号化装置及び復号
化装置において高速演算可能な構成が要求される。Therefore, it is necessary to easily and accurately generate a prediction signal in the spatial domain. In addition, a configuration capable of high-speed operation is required in the encoding device and the decoding device.
【0008】ところで、画像データの符号化は、JPE
G、MPEG1、H.261、MPEG2及びH.263
などの多くの国際的標準に広く使用されて来た。後者の
標準の各々は符号化能率を更に改善している。すなわ
ち、同じ画質を表現するのに従来の標準に比べてビット
数をさらに減少する努力がなされてきた。[0008] By the way, image data is encoded by JPE
G, MPEG1, H.261, MPEG2 and H.263
Has been widely used for many international standards such as. Each of the latter standards further improves coding efficiency. That is, an effort has been made to further reduce the number of bits compared to the conventional standard to express the same image quality.
【0009】動画に対する画像データの符号化は、イン
トラフレーム符号化と予測フレーム符号化から成りたっ
ている。ここで、イントラフレーム符号化は、1つのフ
レームの画面内でのフレーム内符号化をいう。例えばM
PEG1標準のような代表的なハイブリッド符号化シス
テムにおいては、連続するフレームは次の3つの異なる
タイプに分類できる。 (a)イントラフレーム(以下、Iフレームとい
う。)、(b)予測フレーム(以下、Pフレームとい
う。)、及び(c)両方向予測フレーム(以下、Bフレ
ームという。)。[0009] Encoding of image data for a moving image includes intra-frame encoding and predictive frame encoding. Here, intra-frame encoding refers to intra-frame encoding of one frame within a screen. For example, M
In a typical hybrid coding system, such as the PEG1 standard, successive frames can be classified into three different types: (A) Intra frame (hereinafter, referred to as I frame), (b) Predicted frame (hereinafter, referred to as P frame), and (c) Bidirectional predicted frame (hereinafter, referred to as B frame).
【0010】Iフレームは他のフレームと独立的に符号
化され、すなわち、Iフレームは他のフレームを用いる
ことなく圧縮される。Pフレームは、符号化されたフレ
ーム(それは、Pフレームである。)の内容を予測する
ために1つ前のフレームを用いることにより動きの検出
及び補償を通じて符号化されている。Bフレームは、1
つ前のフレームからの情報及びBフレームの中味のデー
タを予測する後続のフレームからの情報を用いる動きの
検出及び補償を用いることにより符号化されている。以
前のフレーム及び後続のフレームはIフレームか、又は
Pフレームである。Iフレームはイントラコードモード
に属している。Pフレーム及びBフレームは予測コード
モードに属している。I-frames are encoded independently of other frames, ie, I-frames are compressed without using other frames. P-frames are encoded through motion detection and compensation by using the previous frame to predict the contents of the encoded frame (which is a P-frame). B frame is 1
It is encoded by using motion detection and compensation using information from the previous frame and information from the subsequent frame to predict the contents of the B frame. The previous and subsequent frames are either I frames or P frames. The I frame belongs to the intra code mode. The P frame and the B frame belong to the prediction code mode.
【0011】Iフレーム、Pフレーム及びBフレームの
符号化の性質が違っているように、その圧縮方法も各々
異なっている。Iフレームは、冗長性を減少させるため
に一時的な予測を使用しないので、Pフレーム及びBフ
レームに比べてより多くのビット数を必要とする。Just as the encoding characteristics of I-frames, P-frames and B-frames are different, their compression methods are also different. I-frames require more bits than P- and B-frames because they do not use temporal prediction to reduce redundancy.
【0012】ここで、MPEG2を例として説明する。
ビットレートを4Mビット/秒とし、画像は、30フレ
ーム/秒の画像と仮定する。一般的には、I、P及びB
フレームに用いられるビット数の比は6:3:1であ
る。従ってIフレームは約420Kbits/sを使用し、
Bフレームは約70Kbits/sを使用する。なぜならB
フレームは両方向から十分に予測されているからであ
る。Here, MPEG2 will be described as an example.
Assume that the bit rate is 4 Mbit / s and the image is a 30 frame / s image. In general, I, P and B
The ratio of the number of bits used for the frame is 6: 3: 1. Therefore, an I-frame uses about 420 Kbits / s,
B frames use about 70 Kbits / s. Because B
This is because the frame is well predicted from both directions.
【0013】図14は、従来技術の画像予測符号化装置
の構成を示すブロック図である。DCT変換をブロック
に基づいて実行するので、最近の画像符号化方法はすべ
て、画像をより小さいブロックに分割することを基礎と
している。イントラフレーム符号化においては、入力さ
れたディジタル画像信号に対して、図14に示されるよ
うに、まず、ブロックサンプリング処理1001が実行
される。次いで、ブロックサンプリング処理1001後
のこれらのブロックに対して、DCT変換処理1004
が実行された後、量子化処理1005及びランレングス
ホフマン可変長符号化(VLC:Variable Length Codi
ng;エントロピー符号化)処理1006が実行される。
一方、予測フレーム符号化においては、入力されたディ
ジタル画像に対して動き補償処理1003が実行され、
そして、動き補償されたブロック(すなわち、予測され
たブロック)に対してDCT変換処理1004が実行さ
れる。次いで、量子化処理1005、及びランレングス
ホフマンVLC符号化(エントロピー符号化)処理10
06が実行される。FIG. 14 is a block diagram showing a configuration of a conventional image predictive coding apparatus. Since the DCT transform is performed on a block basis, all modern image coding methods are based on dividing an image into smaller blocks. In the intra-frame encoding, first, as shown in FIG. 14, a block sampling process 1001 is performed on an input digital image signal. Next, DCT transform processing 1004 is performed on these blocks after block sampling processing 1001.
Is performed, quantization processing 1005 and run-length Huffman variable length coding (VLC) are performed.
ng; entropy coding) processing 1006 is executed.
On the other hand, in predictive frame coding, a motion compensation process 1003 is performed on the input digital image,
Then, DCT transform processing 1004 is performed on the motion-compensated block (that is, the predicted block). Next, quantization processing 1005 and run-length Hoffman VLC encoding (entropy encoding) processing 10
06 is executed.
【0014】ブロックに基づくDCT変換処理1004
は、処理対象のブロック内の空間的な冗長性を除去し又
は減少させること、並びに、動き検出及び補償処理10
02,1003は隣接するフレームの間の一時的な冗長
性を除去し又は減少させることは、従来の画像符号化技
術から公知である。さらに、DCT変換処理1004及
び量子化処理1005の後に実行される、ランレングス
ホフマンVLC符号化又は他のエントロピー符号化処理
1006は、量子化されたDCT変換係数の間の統計的
冗長性を除去する。しかしその処理は、画面内のブロッ
クのみに対してのみある。Block-based DCT transform processing 1004
Removes or reduces spatial redundancy in the block being processed, and the motion detection and compensation process 10
02,1003 is known from conventional image coding techniques to remove or reduce temporary redundancy between adjacent frames. Further, a run-length Hoffman VLC encoding or other entropy encoding process 1006, performed after the DCT transform process 1004 and the quantization process 1005, removes statistical redundancy between the quantized DCT transform coefficients. . However, the processing is performed only for blocks in the screen.
【0015】ディジタル画像は本来的性質として空間的
に大きな冗長性を有している。この冗長性は、画像のフ
レーム内のブロックのみでなく、ブロックを越えてブロ
ックとブロックとの間にも存在している。しかしなが
ら、現実の方法は画像のブロック間の冗長性を除去する
方法を使用していないことは、上述から明らかである。Digital images inherently have large spatial redundancy. This redundancy exists not only in blocks within the frame of the image, but also between blocks across blocks. However, it is clear from the above that the actual method does not use a method of removing redundancy between blocks of the image.
【0016】現在の画像符号化手法においては、DCT
変換処理1004又は他の変換処理は、ハードウエアの
形成及び計算上の拘束条件のためにブロックに基づいて
実行される。In the current image coding method, DCT
The conversion process 1004 or other conversion processes are performed on a block basis due to hardware implementation and computational constraints.
【0017】空間的な冗長性は、ブロックを基礎とする
変換処理によって減少されるが、それは1つのブロック
内でのみに限定される。隣接する2つのブロック間の冗
長性はあまりうまく考慮されていないが、常に多くのビ
ット数を消費するフレーム内符号化を用いればさらに減
少できるであろう。The spatial redundancy is reduced by the block-based transformation process, but only within one block. The redundancy between two adjacent blocks is not considered very well, but could be further reduced by using intra-frame coding, which always consumes a large number of bits.
【0018】さらに、ブロックを基礎とするDCT変換
処理が、処理対象のブロック内の空間的な冗長性を除去
し、又は減少させ、また、動き予測及び補償処理が、隣
接する2つのフレーム間の一時的な冗長性を除去し、又
は減少させることは、現在の画像符号化技術から公知で
ある。DCT変換処理及び量子化処理の後に実行され
る、ジグザグスキャン及びランレングスホフマンVLC
符号化処理又は他のエントロピー符号化処理は、量子化
されたDCT変換係数の中の統計的冗長性を除去する
が、なお、それは1つのブロック内に限定される。In addition, the block-based DCT transform removes or reduces spatial redundancy in the block being processed, and the motion estimation and compensation process allows for Eliminating or reducing temporary redundancy is known from current image coding techniques. Zigzag scan and run-length Hoffman VLC performed after DCT transform processing and quantization processing
The encoding process or other entropy encoding process removes the statistical redundancy in the quantized DCT transform coefficients, but is still limited to one block.
【0019】ディジタル画像は本来高い空間冗長性を含
んでいる。この冗長性はブロックの内部に存在するのみ
でなく、画像のブロックを越えてそしてブロック間にも
存在している。従って、上記のことから明らかなよう
に、現存する方法においては、JPEG、MPEG1及
びMPEG2のDC係数の予測を除いて、1つの画像の
ブロック間の冗長性を除去する方法を全く用いていな
い。Digital images inherently contain high spatial redundancy. This redundancy exists not only within blocks, but also across and between blocks of the image. Therefore, as is apparent from the above, the existing methods do not use any method for removing redundancy between blocks of one image except for the prediction of DC coefficients of JPEG, MPEG1, and MPEG2.
【0020】MPEG1及びMPEG2においては、D
C係数の予測は、現在の符号化されているブロックから
前の符号化ブロックのDC値を減算することにより実行
される。これは予測が適切でない時に適応性又はモード
スイッチングを有しない簡単な予測方法である。さらに
それはDC係数を含むだけである。In MPEG1 and MPEG2, D
The prediction of the C coefficient is performed by subtracting the DC value of the previous coded block from the currently coded block. This is a simple prediction method that has no adaptability or mode switching when the prediction is not appropriate. Furthermore, it only contains DC coefficients.
【0021】当該技術分野の現在の状態では、ジグザグ
スキャンはランレングス符号化の前にすべてのブロック
に対して用いられている。ブロックの中味のデータに基
づいてスキャンを適応的にする試みはなされていない。In the current state of the art, zig-zag scanning is used for all blocks before run-length coding. No attempt has been made to adapt the scan based on the contents of the block.
【0022】図22は、従来技術の画像予測符号化装置
の構成を示すブロック図である。図22において、従来
技術の画像予測符号化装置は、ブロックサンプリニング
ユニット2001、DCT変換ユニット2003、量子
化ユニット2004、ジグザグスキャンユニット200
5及びエントロピー符号化ユニット2006を備える。
本明細書において、「ユニット」という用語は、回路装
置を意味する。FIG. 22 is a block diagram showing the configuration of a conventional image predictive coding apparatus. In FIG. 22, a conventional image prediction encoding apparatus includes a block sampling unit 2001, a DCT transform unit 2003, a quantization unit 2004, and a zigzag scan unit 200.
5 and an entropy coding unit 2006.
In this specification, the term “unit” means a circuit device.
【0023】イントラフレーム符号化(すなわち、フレ
ーム内符号化)においては、入力された画像信号に対し
て、ブロックサンプリング処理2001が実行された
後、直接に、DCT変換処理2003が実行され、そし
て、量子化処理2004、ジグザグスキャン処理200
5及びエントロピー符号化処理2006が順次実行され
る。一方、インターフレーム符号化(すなわち、フレー
ム間符号化、すなわち、予測フレーム符号化)において
は、ブロックサンプリング処理2001の後に、動き検
出及び補償処理がユニット2011において実行され、
次いで、ブロックサンプリング2001からの画像デー
タをユニット2011からの検出値を減算することによ
り、加算器2002により予測誤差が得られる。さら
に、この予測誤差に対して、DCT変換処理2003が
実行され、続いて量子化処理2004、ジグザグスキャ
ン処理2005及びエントロピー符号化処理2006
が、イントラフレーム符号化と同様に実行される。In intra-frame coding (ie, intra-frame coding), after a block sampling process 2001 is performed on an input image signal, a DCT transform process 2003 is directly performed, and Quantization process 2004, zigzag scan process 200
5 and the entropy coding processing 2006 are sequentially performed. On the other hand, in inter-frame coding (ie, inter-frame coding, ie, predictive frame coding), after block sampling processing 2001, motion detection and compensation processing is performed in unit 2011,
Next, a prediction error is obtained by the adder 2002 by subtracting the detection value from the unit 2011 from the image data from the block sampling 2001. Further, a DCT transform process 2003 is performed on the prediction error, followed by a quantization process 2004, a zigzag scan process 2005, and an entropy encoding process 2006.
Is performed in the same manner as intra-frame coding.
【0024】図22の画像予測符号化装置内に設けられ
るローカルデコーダにおいて、逆量子化処理及び逆DC
T変換処理はユニット2007及び2008において実
行される。イントラフレーム符号化においては、動き検
出及び補償された予測値は、ユニット2007及び20
08によって再構築された予測誤差に加算器2009に
よって加算され、その加算値は、局所的に復号化された
画像データを意味し、その復号化された画像データは、
ローカルデコーダのフレームメモリ2010に記憶され
る。最終的には、ビットストリームがエントロピー符号
化ユニット2010から出力されて、相手方の画像予測
復号化装置に送信される。In the local decoder provided in the image predictive encoding apparatus shown in FIG.
The T conversion processing is executed in units 2007 and 2008. In intra-frame coding, motion-detected and compensated predictions are stored in units 2007 and 20
08 is added to the prediction error reconstructed by 08 by an adder 2009, and the added value means locally decoded image data, and the decoded image data is
It is stored in the frame memory 2010 of the local decoder. Finally, the bit stream is output from the entropy coding unit 2010 and transmitted to the other image prediction decoding apparatus.
【0025】図23は、従来技術の画像予測復号化装置
の構成を示すブロック図である。ビットストリームは、
可変長デコーダ(VLD:Variable Length Decoding)
ユニット(又はエントロピー復号化ユニット)2021
によって復号化され、次いで、復号化された画像データ
に対して、逆量子化処理及び逆DCT変換処理がユニッ
ト2023及び2024において実行される。インター
フレーム符号化において、ユニット2027で形成され
た、動き検出及び補償された予測値は、加算器2025
によって再構築された予測誤差に加算され、局所的な復
号化画像データが形成される。局所的に復号化された画
像データはローカルデコーダのフレームメモリ1026
に記憶される。FIG. 23 is a block diagram showing the configuration of a conventional image prediction decoding apparatus. The bitstream is
Variable Length Decoding (VLD)
Unit (or entropy decoding unit) 2021
Then, an inverse quantization process and an inverse DCT transform process are performed on the decoded image data in the units 2023 and 2024. In inter-frame coding, the motion-detected and compensated predicted values formed in unit 2027 are added to adder 2025
Is added to the reconstructed prediction error to form local decoded image data. The locally decoded image data is stored in the frame memory 1026 of the local decoder.
Is stored.
【0026】[0026]
【発明が解決しようとする課題】現在の画像符号化技術
においては、DCT変換処理又は他の変換処理は、ハー
ドウェアの形成及び計算上の拘束条件のために、ブロッ
クを基礎として実行されている。空間的冗長性はブロッ
クを基礎とする変換によって削減されるであろう。しか
しながら、それはブロック内のみである。隣接するブロ
ック間の冗長性はあまり十分に考慮されていない。特
に、常に多量のビットを消費するイントラフレーム符号
化については特に考慮がなされていない。In current image coding techniques, the DCT transform or other transform is performed on a block basis due to hardware implementation and computational constraints. . Spatial redundancy will be reduced by block-based transforms. However, it is only within a block. Redundancy between adjacent blocks is not sufficiently considered. In particular, no special consideration is given to intra-frame coding that always consumes a large amount of bits.
【0027】本発明の第1の目的は、空間領域の予測画
像データを簡単に、高速でかつ高精度に生成することが
できる画像予測符号化装置及び方法、並びに、画像予測
復号化装置及び方法を提供することにある。A first object of the present invention is to provide an image prediction coding apparatus and method, and an image prediction decoding apparatus and method capable of easily, quickly and accurately generating predicted image data in a spatial domain. Is to provide.
【0028】また、本発明の第2の目的は、従来技術の
画像予測符号化装置及び画像予測復号化装置に比較し
て、ブロック内の冗長性を除去することができ、より効
率的に画像データを符号化又は復号化することができる
画像予測符号化装置及び方法、並びに、画像予測復号化
装置及び方法を提供することにある。A second object of the present invention is to eliminate the redundancy in a block as compared with the conventional image predictive coding apparatus and image predictive decoding apparatus, and to improve the efficiency of image prediction. An object of the present invention is to provide an image prediction encoding apparatus and method capable of encoding or decoding data, and an image prediction decoding apparatus and method.
【0029】さらに、本発明の第3の目的は、画像デー
タの内部の性質に依存して、重要な変換係数がブロック
の異なる区域に集中されるという問題点を解決し、ブロ
ックに対して正しいスキャン方法を決定することにより
エントロピー符号化処理の能率を改善することができる
画像予測符号化装置及び方法、並びに、画像予測復号化
装置及び方法を提供することにある。Further, a third object of the present invention is to solve the problem that important transform coefficients are concentrated in different areas of the block depending on the internal properties of the image data, and correct for the block. It is an object of the present invention to provide an image prediction encoding device and method, and an image prediction decoding device and method that can improve the efficiency of entropy encoding processing by determining a scanning method.
【0030】またさらに、本発明の第4の目的は、上記
画像予測符号化方法又は画像予測復号化方法の各ステッ
プを記録した記録媒体を提供することにある。Still another object of the present invention is to provide a recording medium which records each step of the image predictive encoding method or the image predictive decoding method.
【0031】[0031]
【課題を解決するための手段】本発明に係る画像予測復
号化装置は、画像信号を複数のブロックにブロック化す
るブロック化手段と、上記ブロック化手段によりブロッ
ク化されたブロックの画像信号を2次元列のDCT係数
に変換する変換手段と、上記変換手段により変換された
DCT係数を量子化する量子化手段と、カレントブロッ
ク(C)に隣接する上ブロック(A)又は左ブロック
(B)のいずれかから上記カレントブロック(C)のA
C係数を予測するための予測ブロックを適応的に選択す
る予測ブロック選択手段と、上記予測ブロック選択手段
により選択された上記予測ブロックの量子化されたAC
係数を用いて、上記カレントブロック(C)のAC係数
予測を行うAC係数予測手段と、上記カレントブロック
(C)のAC係数予測のために選択された上記予測ブロ
ックの量子化されたAC係数を、上記カレントブロック
(C)の量子化ステップサイズと上記選択された予測ブ
ロックの量子化ステップサイズの比を用いてスケーリン
グするスケーリング手段と、上記AC係数予測手段の予
測結果を可変長符号化する可変長符号化手段と、上記A
C係数予測手段の予測結果を用いて、上記カレントブロ
ック(C)の量子化されたAC係数(QFx)を復元す
るAC係数復元手段と、上記AC係数復元手段により復
元された上記カレントブロック(C)の量子化されたA
C係数を記憶する記憶手段とを備え、上記カレントブロ
ック(C)よりも遅れて符号化されるブロックの符号化
時には、上記選択された予測ブロックの量子化されたA
C係数として、上記記憶手段に記憶された量子化された
AC係数を用いることを特徴とする。According to the present invention, there is provided an image predictive decoding apparatus comprising: a blocking unit configured to block an image signal into a plurality of blocks; and an image signal of the block obtained by the blocking unit. Transforming means for transforming into DCT coefficients of a dimensional sequence, quantizing means for quantizing the DCT coefficients transformed by the transforming means, and an upper block (A) or a left block (B) adjacent to the current block (C). Either of the A of the current block (C)
Prediction block selection means for adaptively selecting a prediction block for predicting a C coefficient; and a quantized AC of the prediction block selected by the prediction block selection means.
An AC coefficient prediction unit that performs AC coefficient prediction of the current block (C) using the coefficient; and a quantized AC coefficient of the prediction block selected for the AC coefficient prediction of the current block (C). Scaling means for scaling using a ratio between the quantization step size of the current block (C) and the quantization step size of the selected prediction block, and a variable length encoding means for performing variable length coding on the prediction result of the AC coefficient prediction means. Long encoding means;
AC coefficient restoring means for restoring the quantized AC coefficient (QFx) of the current block (C) using the prediction result of the C coefficient estimating means, and the current block (C) restored by the AC coefficient restoring means. ) Quantized A
Storage means for storing C coefficients, and when encoding a block to be encoded later than the current block (C), the quantized A of the selected prediction block is encoded.
As the C coefficient, a quantized AC coefficient stored in the storage means is used.
【0032】また、本発明に係る画像予測復号化方法
は、画像信号を複数のブロックにブロック化し、上記ブ
ロック化されたブロックの画像信号を2次元列のDCT
係数に変換し、上記変換されたDCT係数を量子化し、
カレントブロック(C)に隣接する上ブロック(A)又
は左ブロック(B)のいずれかから上記カレントブロッ
ク(C)のAC係数を予測するための予測ブロックを適
応的に選択し、上記選択された予測ブロックの量子化さ
れたAC係数を用いて、上記カレントブロック(C)の
AC係数予測を行い、上記カレントブロック(C)のA
C係数予測のために選択された上記予測ブロックの量子
化されたAC係数を、上記カレントブロック(C)の量
子化ステップサイズと上記選択された予測ブロックの量
子化ステップサイズの比を用いてスケーリングし、上記
AC係数予測の予測結果を可変長符号化し、上記予測結
果を用いて、上記カレントブロック(C)の量子化され
たAC係数を復元し、上記復元されたカレントブロック
(C)の量子化されたAC係数を記憶し、上記カレント
ブロック(C)よりも遅れて符号化されるブロックの符
号化時には、上記選択された予測ブロックの量子化され
たAC係数として、上記記憶された量子化されたAC係
数を用いることを特徴とする。Further, in the image predictive decoding method according to the present invention, an image signal is divided into a plurality of blocks, and the image signal of the block is converted into a two-dimensional DCT.
And transforms the transformed DCT coefficients into coefficients,
A prediction block for predicting the AC coefficient of the current block (C) is adaptively selected from either the upper block (A) or the left block (B) adjacent to the current block (C). The AC coefficient of the current block (C) is predicted using the quantized AC coefficient of the prediction block, and A of the current block (C) is predicted.
The quantized AC coefficients of the prediction block selected for C coefficient prediction are scaled using a ratio of the quantization step size of the current block (C) to the quantization step size of the selected prediction block. Then, the prediction result of the AC coefficient prediction is variable-length coded, and the quantized AC coefficient of the current block (C) is restored using the prediction result, and the quantization of the restored current block (C) is performed. When encoding a block to be encoded later than the current block (C), the stored AC coefficient is stored as the quantized AC coefficient of the selected prediction block. It is characterized by using the obtained AC coefficient.
【0033】第1の発明に係る画像予測符号化装置は、
入力される符号化画像データを互いに隣接する複数の小
領域の画像データに分割する分割手段と、上記分割手段
によって分割された互いに隣接する複数の小領域の画像
データの中で処理対象の小領域の画像データを符号化す
るときに、上記処理対象の小領域の画像データに隣接す
る再生された再生小領域の画像データを上記処理対象の
小領域の画面内予測小領域の画像データとし、上記画面
内予測小領域の画像データを最適予測小領域の画像デー
タとし、上記処理対象の小領域の画像データと上記最適
予測小領域の画像データとの差分である差分小領域の画
像データを生成する第1の生成手段と、上記生成手段に
よって生成された差分小領域の画像データを符号化する
符号化手段と、上記符号化手段によって符号化された差
分小領域の画像データを復号化する復号化手段と、上記
復号化手段によって復号化された差分小領域の画像デー
タを上記最適予測小領域の画像データに加算することに
より再生された再生小領域の画像データを生成する第2
の生成手段とを備える。An image predictive coding apparatus according to the first invention comprises:
Dividing means for dividing the input coded image data into image data of a plurality of small areas adjacent to each other; and a small area to be processed among the image data of a plurality of adjacent small areas divided by the dividing means. When encoding the image data of the above, the image data of the reproduced small area reproduced adjacent to the image data of the small area to be processed is set as the image data of the intra prediction small area of the small area to be processed, The image data of the intra-screen prediction small area is set as the image data of the optimal prediction small area, and the image data of the difference small area which is the difference between the image data of the processing target small area and the image data of the optimal prediction small area is generated. First generating means, coding means for coding the image data of the small difference area generated by the generating means, and image data of the small difference area coded by the coding means. Decoding means for decoding the data, and adding the image data of the small difference area decoded by the decoding means to the image data of the optimal prediction small area to generate the reproduced small area image data. Second
Generating means.
【0034】また、第2の発明に係る画像予測符号化装
置は、入力された符号化画像データを互いに隣接する複
数の小領域の画像データに分割する分割手段と、上記分
割手段によって分割された互いに隣接する複数の小領域
の中で処理対象の小領域を符号化するときに、上記処理
対象の小領域の画像データに隣接する再生された再生小
領域の画像データの中から、上記符号化画像データが有
意であるか否かを示す入力された有意信号によって示さ
れる有意な画像データのみを上記処理対象の小領域の画
面内予測小領域の画像データとし、上記画面内予測小領
域の画像データを最適予測小領域の画像データとし、上
記処理対象の小領域の画像データと上記最適予測小領域
の画像データとの差分である差分小領域の画像データを
生成する第1の生成手段と、上記第1の生成手段によっ
て生成された差分小領域の画像データを符号化する符号
化手段と、上記符号化手段によって符号化された差分小
領域の画像データを復号化する復号化手段と、上記復号
化手段によって復号化された差分小領域の画像データを
上記最適予測小領域の画像データに加算することにより
再生された再生小領域の画像データを生成する第2の生
成手段とを備える。The image predictive encoding apparatus according to the second invention is a division means for dividing input encoded image data into image data of a plurality of small areas adjacent to each other; When encoding a small area to be processed among a plurality of small areas adjacent to each other, the encoding is performed from the image data of the reproduced small area reproduced adjacent to the image data of the small area to be processed. Only the significant image data indicated by the input significant signal indicating whether the image data is significant is regarded as the image data of the intra-screen predicted small area of the small area to be processed, and the image of the intra-screen predicted small area is used as the image data. A first raw data generating image data of a difference small area which is a difference between the image data of the small area to be processed and the image data of the optimum prediction small area, using the data as image data of the optimal prediction small area. Means, encoding means for encoding the image data of the small difference area generated by the first generation means, and decoding means for decoding the image data of the small difference area encoded by the encoding means And second generating means for generating image data of a reproduced small area by adding the image data of the difference small area decoded by the decoding means to the image data of the optimal predicted small area. Prepare.
【0035】さらに、第3の発明に係る画像予測復号化
装置は、入力された符号化された画像データ系列を解析
して画像差分信号を出力する解析手段と、上記解析手段
から出力される差分画像信号から、再生差分小領域の画
像データを復号化する復号化手段と、所定の画面内予測
小領域の画像データを生成するための画像データを格納
するラインメモリと、上記ラインメモリからの画像デー
タに対して予測信号発生処理を実行することにより、上
記再生差分小領域の画像データに隣接する再生された画
像データを画面内予測小領域の画像データとし、上記画
面内予測小領域の画像データを最適予測小領域の画像デ
ータとして出力する発生手段と、上記復号化手段からの
再生差分小領域の画像データと、上記発生手段からの最
適予測小領域の画像データとを加算して、加算結果の画
面内予測小領域を生成するための画像データを出力する
とともに、上記ラインメモリに格納する加算手段とを備
える。Further, an image predictive decoding apparatus according to a third aspect of the present invention includes an analyzing means for analyzing an input coded image data sequence and outputting an image difference signal, and a difference output from the analyzing means. Decoding means for decoding the image data of the reproduction difference small area from the image signal, a line memory for storing image data for generating image data of a predetermined intra prediction small area, and an image from the line memory By executing a prediction signal generation process on the data, the reproduced image data adjacent to the image data of the reproduction difference small area is set as the image data of the intra-screen prediction small area, and the image data of the intra-screen prediction small area is processed. Means for outputting image data of the optimal prediction small area, image data of the reproduction difference small area from the decoding means, and image data of the optimal prediction small area from the generation means. By adding the data, it outputs the image data for generating the intra-frame prediction small region of the addition result, an adding means for storing in said line memory.
【0036】またさらに、第4の発明に係る画像予測復
号化装置は、入力された符号化された画像データ系列を
解析して、画像差分信号と、動きベクトル信号と、制御
信号とを出力する解析手段と、上記解析手段から出力さ
れる差分画像信号を、再生差分小領域の画像データに復
号化する復号化手段と、上記解析手段から出力される制
御信号に基づいて、動き補償手段と発生手段とが選択的
に動作させるように制御する切り換え信号を出力する制
御手段と、所定の再生画像データを格納するフレームメ
モリと、所定の画面内予測小領域の画像データを生成す
るための画像データを格納するラインメモリと、上記制
御手段からの切り換え信号に応答して、入力される動き
ベクトル信号に対して動き補償処理を実行することによ
り、上記フレームメモリから時間予測小領域の画像デー
タを生成して、最適予測小領域の画像データとして出力
する動き補償手段と、上記制御手段からの切り換え信号
に応答して、上記ラインメモリからの画像データに対し
て予測信号発生処理を実行することにより、上記再生差
分小領域の画像データに隣接する再生された画像データ
を画面内予測小領域の画像データとし、上記画面内予測
小領域の画像データを最適予測小領域の画像データとし
て出力する発生手段と、上記復号化手段からの再生差分
小領域の画像データと、上記発生手段からの最適予測小
領域とを加算することにより、加算結果の再生画像デー
タを出力するとともに、上記再生画像データを上記フレ
ームメモリに格納し、上記画面内予測小領域の画像デー
タを生成するための画像データのみを上記ラインメモリ
に格納する加算手段とを備える。Still further, the image prediction decoding apparatus according to the fourth invention analyzes the input coded image data sequence, and outputs an image difference signal, a motion vector signal, and a control signal. Analysis means; decoding means for decoding the difference image signal output from the analysis means into image data of a reproduced difference small area; and motion compensation means based on the control signal output from the analysis means. Means for outputting a switching signal for controlling the means to selectively operate, a frame memory for storing predetermined reproduced image data, and image data for generating image data of a predetermined intra-screen predicted small area By executing a motion compensation process on an input motion vector signal in response to a switching signal from the control means, A motion compensation means for generating image data of the temporal prediction small area from the memory, and outputting the image data as the image data of the optimal prediction small area; and, in response to a switching signal from the control means, for the image data from the line memory. Executing the prediction signal generation processing, the reproduced image data adjacent to the image data of the reproduction difference small area is set as the image data of the intra prediction small area, and the image data of the intra prediction small area is optimally predicted. Generating means for outputting the image data of the small area, image data of the reproduced difference small area from the decoding means, and the optimal predicted small area from the generating means; Output and store the reproduced image data in the frame memory, and generate only the image data for generating the image data of the intra prediction small area. An adding means for storing in said line memory.
【0037】また、第5の発明に係る画像予測復号化装
置は、入力された符号化された画像データ系列を解析し
て、圧縮形状信号と画像差分信号とを出力する解析手段
と、上記解析手段から出力される圧縮形状信号を、再生
形状信号に復号化する第1の復号化手段と、上記解析手
段から出力される差分画像信号を、再生差分小領域の画
像データに復号化する第2の復号化手段と、所定の画面
内予測小領域の画像データを生成するための画像データ
を格納するラインメモリと、上記ラインメモリからの画
像データに対して予測信号処理を実行することにより、
上記再生差分小領域の画像データに隣接する再生された
画像データの中から、上記再生形状信号によって示され
る有意な画像データのみを画面内予測小領域の画像デー
タとし、上記画面内予測小領域の画像データを最適予測
小領域の画像データとして出力する発生手段と、上記第
2の復号化手段からの再生差分小領域の画像データと、
上記発生手段からの最適予測小領域とを加算することに
より、加算結果の画像データを出力するとともに、上記
画面内予測小領域の画像データを生成するための画像デ
ータのみを上記ラインメモリに格納する加算手段とを備
える。An image predicting and decoding apparatus according to a fifth aspect of the present invention includes an analyzing means for analyzing an input coded image data sequence and outputting a compressed shape signal and an image difference signal; First decoding means for decoding the compressed shape signal output from the means into a reproduction shape signal, and second decoding means for decoding the difference image signal output from the analysis means into image data of a reproduction difference small area. Decoding means, a line memory for storing image data for generating image data of a predetermined intra-screen prediction small area, and performing a prediction signal process on the image data from the line memory,
From the reproduced image data adjacent to the image data of the reproduction difference small area, only significant image data indicated by the reproduction shape signal is set as the image data of the intra prediction small area, and the Generating means for outputting image data as image data of an optimal prediction small area; image data of a reproduction difference small area from the second decoding means;
By adding the optimum predicted small area from the generating means, the image data of the addition result is output, and only the image data for generating the image data of the intra-screen predicted small area is stored in the line memory. Adding means.
【0038】さらに、第6の発明に係る画像予測復号化
装置は、入力された符号化された画像データ系列を解析
して、圧縮形状信号と、画像差分信号と、動きベクトル
信号と、制御信号とを出力する解析手段と、上記解析手
段から出力される圧縮形状信号を、再生形状信号に復号
化する第1の復号化手段と、上記解析手段から出力され
る差分画像信号を、再生差分小領域に復号化する第2の
復号化手段と、上記解析手段から出力される制御信号に
基づいて、動き補償手段と発生手段とを選択的に動作さ
せるように制御する切り換え信号を出力する制御手段
と、所定の再生画像データを格納するフレームメモリ
と、所定の画面内予測小領域の画像データを生成するた
めの画像データを格納するラインメモリと、上記制御手
段から出力される切り換え信号に応答して、上記解析手
段から出力される動きベクトル信号に基づいて、上記フ
レームメモリからの再生画像データに対して動き補償処
理を実行することにより、時間予測小領域の画像データ
を発生して、最適予測小領域の画像データとして出力す
る動き補償手段と、上記制御手段から出力される切り換
え信号に応答して、上記ラインメモリからの画像データ
に対して予測信号処理を実行することにより、上記再生
差分小領域の画像データに隣接する再生された画像デー
タの中から、上記再生形状信号によって示される有意な
画像データのみを画面内予測小領域の画像データとし、
上記画面内予測小領域の画像データを最適予測小領域の
画像データとして出力する発生手段と、上記第2の復号
化手段からの再生差分小領域の画像データと、上記発生
手段からの最適予測小領域とを加算することにより、加
算結果の再生画像データを出力するとともに、上記再生
画像データを上記フレームメモリに格納し、上記画面内
予測小領域を生成するための画像データのみを上記ライ
ンメモリに格納する加算手段とを備える。Further, the image predictive decoding device according to the sixth aspect of the present invention analyzes the input encoded image data sequence, and outputs a compressed shape signal, an image difference signal, a motion vector signal, and a control signal. Analyzing means for outputting a compressed shape signal output from the analyzing means into a reproduced shape signal, and a differential image signal output from the analyzing means for converting a reproduced difference signal into a reproduced differential signal. Second decoding means for decoding the area, and control means for outputting a switching signal for controlling the motion compensation means and the generation means to selectively operate based on the control signal output from the analysis means. A frame memory for storing predetermined reproduced image data, a line memory for storing image data for generating image data for a predetermined intra-screen predicted small area, and a frame output from the control means. Generating the image data of the temporal prediction small area by executing a motion compensation process on the reproduced image data from the frame memory based on the motion vector signal output from the analysis means in response to the input signal. A motion compensation unit that outputs the image data of the optimal prediction small area, and a prediction signal process performed on the image data from the line memory in response to a switching signal output from the control unit. From among the reproduced image data adjacent to the image data of the reproduction difference small area, only significant image data indicated by the reproduction shape signal is set as the image data of the intra prediction small area,
Generating means for outputting the image data of the intra prediction small area as image data of the optimal prediction small area; image data of the reproduction difference small area from the second decoding means; By adding the areas, the reproduced image data of the addition result is output, the reproduced image data is stored in the frame memory, and only the image data for generating the intra-screen predicted small area is stored in the line memory. Storage means for storing.
【0039】第7の発明に係る画像予測符号化装置は、
入力された画像信号をそれぞれ二次元配列の画素値を含
む複数のブロックの画像データにサンプリングするサン
プリング手段と、上記サンプリング手段によってサンプ
リングされたブロックの画像データを所定の変換領域の
係数データに変換する変換手段と、復元されたブロック
の係数データを格納するブロックメモリと、上記ブロッ
クメモリに格納された前に再構築されたブロックの係数
データに基づいて、上記変換手段によって変換されたブ
ロックの係数データに対して複数の予測ブロックの係数
データを形成する予測手段と、上記予測手段によって形
成された複数の予測ブロックの係数データのうち、最も
効率が良い予測ブロックの係数データを決定し選択して
出力し、上記選択された予測ブロックを表す指示子を指
示ビットの形式で画像予測復号化装置に送信する決定手
段と、上記決定手段によって選択された予測ブロックの
係数データを、現時点のカレントブロックの係数データ
から減算することにより、減算結果の予測誤差の係数デ
ータを出力する第1の加算手段と、上記第1の加算手段
から出力される予測誤差の係数データを量子化する量子
化手段と、上記量子化手段からの予測誤差の係数データ
をエントロピー符号化して、符号化された予測誤差の係
数データを画像予測復号化装置に送信する符号化手段
と、上記量子化手段からの予測誤差の係数データを逆量
子化して、復元されたブロックの係数データを出力する
逆量子化手段と、上記決定手段から出力される予測ブロ
ックの係数データを、上記逆量子化手段から出力される
予測誤差の係数データに加算することにより、復元され
たブロックの係数データを出力するとともに、上記ブロ
ックメモリに格納する第2の加算手段と、上記第2の加
算手段から出力されるブロックの係数データを逆変換す
ることにより、復元されたブロックの画像データを生成
する逆変換手段とを備える。An image predictive coding apparatus according to a seventh invention comprises:
Sampling means for sampling the input image signal into image data of a plurality of blocks each including a two-dimensional array of pixel values; and converting the image data of the block sampled by the sampling means into coefficient data of a predetermined conversion area. A conversion unit; a block memory for storing the restored coefficient data of the block; and a coefficient data of the block converted by the conversion unit based on the coefficient data of the previously reconstructed block stored in the block memory. Prediction means for forming coefficient data of a plurality of prediction blocks with respect to, and coefficient data of the most efficient prediction block among coefficient data of the plurality of prediction blocks formed by the prediction means are determined, selected and output. And an indicator representing the selected prediction block in the form of an indication bit. Determining means for transmitting to the image prediction decoding apparatus, and subtracting the coefficient data of the prediction block selected by the determining means from the coefficient data of the current block at the present time, thereby outputting coefficient data of the prediction error of the subtraction result A first adder, a quantizer for quantizing the prediction error coefficient data output from the first adder, and entropy coding of the prediction error coefficient data from the quantizer to perform encoding. Encoding means for transmitting the decoded prediction error coefficient data to the image prediction decoding apparatus, and inverse quantization for dequantizing the prediction error coefficient data from the quantization means and outputting the restored block coefficient data. Adding the coefficient data of the prediction block output from the determining means to the coefficient data of the prediction error output from the inverse quantization means. By outputting the restored coefficient data of the block and inversely transforming the coefficient data of the block output from the second addition means stored in the block memory and the second addition means, Inverse conversion means for generating image data of the block.
【0040】また、第8の発明に係る画像予測符号化装
置は、入力された画像信号を二次元配列の画素値を含む
複数のブロックの画像データにサンプリングするサンプ
リング手段と、上記サンプリング手段によってサンプリ
ングされた複数のブロックの画像データを所定の変換領
域の係数データに変換する変換手段と、上記変換手段か
らの変換領域の係数データを量子化する量子化手段と、
復元されたブロックの係数データを格納するブロックメ
モリと、上記ブロックメモリに格納された前に再構築さ
れたブロックの係数データに基づいて、上記変換手段に
よって変換されたブロックの係数データに対して複数の
予測ブロックの係数データを形成する予測手段と、上記
予測手段によって形成された複数の予測ブロックの係数
データのうち、最も効率が良い予測ブロックの係数デー
タを決定し選択して出力し、上記選択された予測ブロッ
クを表す指示子を指示ビットの形式で画像予測復号化装
置に送信する決定手段と、上記決定手段によって選択さ
れた予測ブロックの係数データを、現時点のカレントブ
ロックの係数データから減算することにより、減算結果
の予測誤差の係数データを出力する第1の加算手段と、
上記第1の加算手段からの予測誤差の係数データをエン
トロピー符号化して、符号化された予測誤差の係数デー
タを画像予測復号化装置に送信する符号化手段と、上記
第1の加算手段からの予測誤差の係数データを、上記決
定手段から出力される予測ブロックの係数データを加算
することにより、量子化されたカレントブロックの係数
データを復元して出力するとともに、上記ブロックメモ
リに格納する第2の加算手段と、上記第2の加算手段か
ら出力されるカレントブロックの係数データを逆量子化
して出力する逆量子化手段と、上記逆量子化手段からの
カレントブロックの係数データを逆変換することによ
り、復元されたブロックの画像データを生成する逆変換
手段とを備える。An image predictive encoding apparatus according to an eighth aspect of the present invention provides a sampling predictor for sampling an input image signal into image data of a plurality of blocks including pixel values of a two-dimensional array, Conversion means for converting the image data of the plurality of blocks into coefficient data of a predetermined conversion area, and quantization means for quantizing the coefficient data of the conversion area from the conversion means,
A block memory for storing the restored coefficient data of the block; and a plurality of coefficient data for the block converted by the conversion means, based on the coefficient data of the previously reconstructed block stored in the block memory. Predicting means for forming coefficient data of a prediction block of the plurality of prediction blocks, and among the coefficient data of the plurality of prediction blocks formed by the prediction means, determine and select and output the coefficient data of the most efficient prediction block; Deciding means for transmitting an indicator representing the selected prediction block to the image prediction decoding apparatus in the form of a designation bit, and subtracting the coefficient data of the prediction block selected by the deciding means from the coefficient data of the current block at the present time. Thereby, the first adding means for outputting coefficient data of the prediction error of the subtraction result,
Encoding means for entropy encoding the coefficient data of the prediction error from the first adding means, and transmitting the encoded coefficient data of the prediction error to the image prediction decoding device; By adding the coefficient data of the prediction error to the coefficient data of the prediction block output from the determining means, the quantized coefficient data of the current block is restored and output, and stored in the block memory. A dequantizing means for dequantizing and outputting the coefficient data of the current block output from the second adding means, and inversely transforming the coefficient data of the current block from the dequantizing means. And inverse conversion means for generating image data of the restored block.
【0041】さらに、第9の発明に係る画像予測符号化
装置は、入力された画像信号をそれぞれ二次元配列の画
素値を含む複数のブロックの画像データにサンプリング
するサンプリング手段と、入力されるブロックの画像デ
ータに対して動き補償処理を実行することにより、動き
補償されたブロックの予測誤差の画像データを生成して
出力する補償手段と、上記サンプリング手段から出力さ
れるブロックの画像データから、上記補償手段から出力
されるブロックの予測誤差の画像データを減算して、減
算結果のブロックの画像データを出力する第1の加算手
段と、上記第1の加算手段から出力されるブロックの画
像データを所定の変換領域の係数データに変換する変換
手段と、復元されたブロックの係数データを格納するブ
ロックメモリと、上記ブロックメモリに格納された前に
再構築されたブロックの係数データに基づいて、上記変
換手段によって変換されたブロックの係数データに対し
て複数の予測ブロックの係数データを形成する予測手段
と、上記予測手段によって形成された複数の予測ブロッ
クの係数データのうち、最も効率が良い予測ブロックの
係数データを決定し選択して出力し、上記選択された予
測ブロックを表す指示子を指示ビットの形式で画像予測
復号化装置に送信する決定手段と、上記決定手段によっ
て選択された予測ブロックの係数データを、現時点のカ
レントブロックの係数データから減算することにより、
減算結果の予測誤差の係数データを出力する第2の加算
手段と、上記第2の加算手段から出力される予測誤差の
係数データを量子化する量子化手段と、上記量子化手段
からの予測誤差の係数データをエントロピー符号化し
て、符号化された予測誤差の係数データを画像予測復号
化装置に送信する符号化手段と、上記量子化手段からの
予測誤差の係数データを逆量子化して、復元されたブロ
ックの係数データを出力する逆量子化手段と、上記決定
手段から出力される予測ブロックの係数データを、上記
逆量子化手段から出力される予測誤差の係数データに加
算することにより、復元されたブロックの係数データを
出力するとともに、上記ブロックメモリに格納する第3
の加算手段と、上記第3の加算手段から出力されるブロ
ックの係数データを逆変換することにより、復元された
ブロックの画像データを生成する逆変換手段と、上記逆
変換手段からの復元されたブロックの画像データに、上
記補償手段から出力される動き補償されたブロックの予
測誤差の画像データを加算することにより、復元された
ブロックの画像データを上記補償手段に出力する第4の
加算手段とを備える。Further, the image predictive coding apparatus according to the ninth aspect of the present invention comprises a sampling means for sampling the input image signal into image data of a plurality of blocks each including a two-dimensional array of pixel values, By performing motion compensation processing on the image data of (i), the compensation means for generating and outputting the image data of the prediction error of the motion-compensated block, and the image data of the block output from the sampling means, First adding means for subtracting the prediction error image data of the block output from the compensating means and outputting the image data of the block resulting from the subtraction; and calculating the block image data output from the first adding means. A conversion unit that converts the coefficient data of the predetermined conversion area into coefficient data, a block memory that stores the coefficient data of the restored block, A prediction unit configured to form coefficient data of a plurality of prediction blocks based on coefficient data of a block reconstructed before and stored in the block memory, based on coefficient data of the block converted by the conversion unit; Among the coefficient data of the plurality of prediction blocks formed by the prediction means, the coefficient data of the most efficient prediction block is determined, selected and output, and the indicator representing the selected prediction block is represented in the form of an indication bit. Determining means for transmitting to the image prediction decoding apparatus, and by subtracting the coefficient data of the prediction block selected by the determining means from the coefficient data of the current block at the present time,
Second adding means for outputting coefficient data of a prediction error as a result of the subtraction, quantizing means for quantizing coefficient data of the prediction error output from the second adding means, and prediction error from the quantization means Encoding means for entropy encoding the coefficient data of the prediction error, and transmitting the encoded prediction error coefficient data to the image prediction decoding apparatus; and dequantizing and restoring the prediction error coefficient data from the quantization means. Dequantizing means for outputting the coefficient data of the block thus obtained, and adding the coefficient data of the prediction block output from the determining means to the coefficient data of the prediction error output from the dequantizing means, thereby performing the restoration. Output the coefficient data of the block obtained and store it in the third block memory.
, An inverse transform unit for inversely transforming the coefficient data of the block output from the third adder unit to generate image data of a restored block, and a restored image data from the inverse transform unit. A fourth adding unit that outputs the restored block image data to the compensation unit by adding the motion-compensated block prediction error image data output from the compensation unit to the block image data; Is provided.
【0042】またさらに、第10の発明に係る画像予測
符号化装置は、入力された画像信号を二次元配列の画素
値を含む複数のブロックの画像データにサンプリングす
るサンプリング手段と、入力されるブロックの画像デー
タに対して動き補償処理を実行することにより、動き補
償されたブロックの予測誤差の画像データを生成して出
力する補償手段と、上記サンプリング手段から出力され
るブロックの画像データから、上記補償手段から出力さ
れるブロックの予測誤差の画像データを減算して、減算
結果のブロックの画像データを出力する第1の加算手段
と、上記第1の加算手段から出力されるブロックの画像
データを所定の変換領域の係数データに変換する変換手
段と、上記変換手段からの変換領域の係数データを量子
化する量子化手段と、復元されたブロックの係数データ
を格納するブロックメモリと、上記ブロックメモリに格
納された前に再構築されたブロックの係数データに基づ
いて、上記変換手段によって変換されたブロックの係数
データに対して複数の予測ブロックの係数データを形成
する予測手段と、上記予測手段によって形成された複数
の予測ブロックの係数データのうち、最も効率が良い予
測ブロックの係数データを決定し選択して出力し、上記
選択された予測ブロックを表す指示子を指示ビットの形
式で画像予測復号化装置に送信する決定手段と、上記決
定手段によって選択された予測ブロックの係数データ
を、現時点のカレントブロックの係数データから減算す
ることにより、減算結果の予測誤差の係数データを出力
する第2の加算手段と、上記第2の加算手段からの予測
誤差の係数データをエントロピー符号化して、符号化さ
れた予測誤差の係数データを画像予測復号化装置に送信
する符号化手段と、上記第2の加算手段からの予測誤差
の係数データを、上記決定手段から出力される予測ブロ
ックの係数データを加算することにより、量子化された
カレントブロックの係数データを復元して出力するとと
もに、上記ブロックメモリに格納する第3の加算手段
と、上記第3の加算手段から出力されるカレントブロッ
クの係数データを逆量子化して出力する逆量子化手段
と、上記逆量子化手段からのカレントブロックの係数デ
ータを逆変換することにより、復元されたブロックの画
像データを生成する逆変換手段と、上記逆変換手段から
の復元されたブロックの画像データに、上記補償手段か
ら出力される動き補償されたブロックの予測誤差の画像
データを加算することにより、復元されたブロックの画
像データを上記補償手段に出力する第4の加算手段とを
備える。Still further, the image predictive encoding apparatus according to the tenth aspect of the present invention is characterized in that a sampling means for sampling an input image signal into a plurality of blocks of image data including pixel values in a two-dimensional array, By performing motion compensation processing on the image data of (i), the compensation means for generating and outputting the image data of the prediction error of the motion-compensated block, and the image data of the block output from the sampling means, First adding means for subtracting the prediction error image data of the block output from the compensating means and outputting the image data of the block resulting from the subtraction; and calculating the block image data output from the first adding means. Conversion means for converting coefficient data of a predetermined conversion area into coefficient data of the predetermined conversion area; and quantization means for quantizing coefficient data of the conversion area from the conversion means. A block memory for storing the coefficient data of the restored block, and a coefficient data of the block converted by the conversion means based on the coefficient data of the previously reconstructed block stored in the block memory. A prediction unit that forms coefficient data of a plurality of prediction blocks; and a coefficient data of a prediction block having the highest efficiency among coefficient data of the plurality of prediction blocks formed by the prediction unit. Determining means for transmitting an indicator representing the selected prediction block to the image prediction decoding device in the form of an indication bit; and subtracting the coefficient data of the prediction block selected by the determining means from the coefficient data of the current block at the present time. By doing so, the second addition means for outputting coefficient data of the prediction error of the subtraction result, and the second addition means Encoding means for entropy encoding the prediction error coefficient data from the means, and transmitting the encoded prediction error coefficient data to the image prediction decoding device; and prediction error coefficient data from the second addition means. A third adder for restoring and outputting the quantized coefficient data of the current block by adding the coefficient data of the prediction block output from the determiner, and storing the data in the block memory; The inverse quantization means for inversely quantizing the coefficient data of the current block output from the third addition means and outputting the inversely quantized data, and the coefficient data of the current block output from the inverse quantization means are inversely transformed to be restored. An inverse transform unit for generating image data of the block, and outputting the image data of the restored block from the inverse transform unit to the image data of the compensation unit. A fourth adding unit that outputs the restored block image data to the compensation unit by adding the image data of the prediction error of the motion-compensated block.
【0043】第11の発明に係る画像予測復号化装置
は、第7の発明に係る画像予測符号化装置に対応して設
けられる画像予測復号化装置であって、上記画像予測符
号化装置から受信された受信データから指示ビットを抽
出する抽出手段と、復元されたブロックの係数データを
格納するブロックメモリと、上記抽出手段によって抽出
された指示ビットが示す予測ブロックに基づいて、上記
ブロックメモリに格納された以前に復元されたブロック
の係数データを用いて、上記受信データに含まれる現時
点のカレントブロックの係数データに対して予測ブロッ
クの係数データを生成して出力する別の予測手段と、上
記受信データをエントロピー復号化して、復号化された
予測誤差の係数データを出力する復号化手段と、上記復
号化手段から出力される予測誤差の係数データを逆量子
化して出力する逆量子化手段と、上記別の予測手段から
出力される予測ブロックの係数データを、上記逆量子化
手段から出力される予測誤差の係数データに加算するこ
とにより、現時点のカレントブロックの係数データを復
元して出力するとともに、上記ブロックメモリに格納す
る第3の加算手段と、上記第3の加算手段から出力され
るカレントブロックの係数データを逆変換して、復元さ
れたカレントブロックの画像データを出力する別の逆変
換手段とを備える。An image predictive decoding apparatus according to an eleventh aspect of the present invention is an image predictive decoding apparatus provided corresponding to the image predictive encoding apparatus according to the seventh aspect of the present invention. Extracting means for extracting an instruction bit from the received data, a block memory for storing coefficient data of a reconstructed block, and storing in the block memory based on a prediction block indicated by the instruction bit extracted by the extracting means. Another prediction means for generating and outputting coefficient data of a prediction block with respect to the coefficient data of the current block included in the received data, using the coefficient data of the previously restored block, Decoding means for entropy decoding the data and outputting decoded prediction error coefficient data; and Inverse quantization means for inversely quantizing and outputting the prediction error coefficient data, and the prediction block coefficient data output from the another prediction means to the prediction error coefficient data output from the inverse quantization means. By the addition, the coefficient data of the current block at the current time is restored and output, and the coefficient data of the current block output from the third addition means and the third addition means stored in the block memory are inverted. And another inverse conversion means for outputting the converted and restored image data of the current block.
【0044】また、第12の発明に係る画像予測復号化
装置は、第8の発明に係る画像予測符号化装置に対応し
て設けられる画像予測復号化装置であって、上記画像予
測符号化装置から受信された受信データから指示ビット
を抽出する抽出手段と、復元されたブロックの係数デー
タを格納するブロックメモリと、上記抽出手段によって
抽出された指示ビットが示す予測ブロックに基づいて、
上記ブロックメモリに格納された以前に復元されたブロ
ックの係数データを用いて、上記受信データに含まれる
現時点のカレントブロックの係数データに対して予測ブ
ロックの係数データを生成して出力する別の予測手段
と、上記受信データをエントロピー復号化して、復号化
された予測誤差の係数データを出力する復号化手段と、
上記予測手段から出力される予測ブロックの係数データ
を、上記復号化手段から出力される予測誤差の係数デー
タに加算することにより、現時点のカレントブロックの
係数データを復元して出力するとともに、上記ブロック
メモリに格納する第3の加算手段と、上記第3の加算手
段から出力される予測誤差の係数データを逆量子化して
出力する逆量子化手段と、上記逆量子化手段から出力さ
れるカレントブロックの係数データを逆変換して、復元
されたカレントブロックの画像データを出力する別の逆
変換手段とを備える。An image predictive decoding device according to a twelfth aspect is an image predictive decoding device provided corresponding to the image predictive encoding device according to the eighth aspect, wherein the image predictive encoding device Extraction means for extracting the instruction bits from the received data received from, a block memory for storing the coefficient data of the reconstructed block, and a prediction block indicated by the instruction bits extracted by the extraction means,
Another prediction for generating and outputting coefficient data of a prediction block with respect to coefficient data of a current block included in the reception data using coefficient data of a previously restored block stored in the block memory. Means for entropy decoding the received data, and decoding means for outputting decoded coefficient data of the prediction error;
By adding the coefficient data of the prediction block output from the prediction unit to the coefficient data of the prediction error output from the decoding unit, the current block coefficient data of the current block is restored and output. A third adder for storing in the memory, an inverse quantizer for inversely quantizing the coefficient data of the prediction error output from the third adder, and a current block output from the inverse quantizer And another inverse transforming means for inversely transforming the coefficient data of the current block and outputting the restored image data of the current block.
【0045】さらに、第13の発明に係る画像予測復号
化装置は、第9の発明に係る画像予測符号化装置に対応
して設けられる画像予測復号化装置であって、上記画像
予測符号化装置から受信された受信データから指示ビッ
トを抽出する抽出手段と、復元されたブロックの係数デ
ータを格納するブロックメモリと、上記抽出手段によっ
て抽出された指示ビットが示す予測ブロックに基づい
て、上記ブロックメモリに格納された以前に復元された
ブロックの係数データを用いて、上記受信データに含ま
れる現時点のカレントブロックの係数データに対して予
測ブロックの係数データを生成して出力する別の予測手
段と、上記受信データをエントロピー復号化して、復号
化された予測誤差の係数データを出力する復号化手段
と、上記復号化手段から出力される予測誤差の係数デー
タを逆量子化して出力する逆量子化手段と、上記別の予
測手段から出力される予測ブロックの係数データを、上
記逆量子化手段から出力される予測誤差の係数データに
加算することにより、現時点のカレントブロックの係数
データを復元して出力するとともに、上記ブロックメモ
リに格納する第3の加算手段と、上記第3の加算手段か
ら出力されるカレントブロックの係数データを逆変換し
て、復元されたカレントブロックの画像データを出力す
る別の逆変換手段と、上記別の逆変換手段から出力され
るカレントブロックの画像データに対して動き補償処理
を実行することにより、動き補償の予測誤差データを出
力する別の補償手段と、上記別の逆変換手段から出力さ
れるカレントブロックの画像データから、上記別の補償
手段から出力される動き補償の予測誤差データを減算し
て、減算結果の復元されたブロックの画像データを出力
する第5の加算手段とを備える。Further, an image predictive decoding apparatus according to a thirteenth aspect is an image predictive decoding apparatus provided corresponding to the image predictive encoding apparatus according to the ninth aspect, wherein the image predictive encoding apparatus Extracting means for extracting an indicator bit from the received data received from the block memory, a block memory for storing coefficient data of a reconstructed block, and the block memory based on a prediction block indicated by the indicator bit extracted by the extracting means. Another prediction means for generating and outputting coefficient data of a prediction block with respect to coefficient data of a current block included in the received data, using coefficient data of a previously restored block stored in the received data, Decoding means for entropy decoding the received data and outputting decoded prediction error coefficient data; and An inverse quantization means for inversely quantizing and outputting the coefficient data of the prediction error output, and a coefficient of the prediction error output from the inverse quantization means, A third adding means for restoring and outputting the current coefficient data of the current block by adding the coefficient data to the data, and a coefficient data for the current block output from the third adding means. By inversely transforming the image data of the current block and outputting the restored image data of the current block, and performing motion compensation processing on the image data of the current block output from the another inverse transforming means. And another compensation means for outputting prediction error data for motion compensation, and image data of a current block outputted from the other inverse transformation means By subtracting the prediction error data of a motion compensation output from the further compensation means, and a fifth adding means for outputting the image data of the restored block of the subtraction result.
【0046】またさらに、第14の発明に係る画像予測
復号化装置は、第10の発明に係る画像予測符号化装置
に対応して設けられる画像予測復号化装置であって、上
記画像予測符号化装置から受信された受信データから指
示ビットを抽出する抽出手段と、復元されたブロックの
係数データを格納するブロックメモリと、上記抽出手段
によって抽出された指示ビットが示す予測ブロックに基
づいて、上記ブロックメモリに格納された以前に復元さ
れたブロックの係数データを用いて、上記受信データに
含まれる現時点のカレントブロックの係数データに対し
て予測ブロックの係数データを生成して出力する別の予
測手段と、上記受信データをエントロピー復号化して、
復号化された予測誤差の係数データを出力する復号化手
段と、上記予測手段から出力される予測ブロックの係数
データを、上記復号化手段から出力される予測誤差の係
数データに加算することにより、現時点のカレントブロ
ックの係数データを復元して出力するとともに、上記ブ
ロックメモリに格納する第3の加算手段と、上記第3の
加算手段から出力される予測誤差の係数データを逆量子
化して出力する逆量子化手段と、上記逆量子化手段から
出力されるカレントブロックの係数データを逆変換し
て、復元されたカレントブロックの画像データを出力す
る別の逆変換手段と、上記別の逆変換手段から出力され
るカレントブロックの画像データに対して動き補償処理
を実行することにより、動き補償の予測誤差データを出
力する別の補償手段と、上記別の逆変換手段から出力さ
れるカレントブロックの画像データから、上記別の補償
手段から出力される動き補償の予測誤差データを減算し
て、減算結果の復元されたブロックの画像データを出力
する第5の加算手段とを備える。Still further, an image prediction decoding apparatus according to a fourteenth invention is an image prediction decoding apparatus provided corresponding to the image prediction encoding apparatus according to the tenth invention, wherein Extracting means for extracting an instruction bit from received data received from the device, a block memory for storing coefficient data of a reconstructed block, and the block based on a prediction block indicated by the instruction bit extracted by the extracting means. Another prediction means for generating and outputting coefficient data of a prediction block with respect to coefficient data of a current block included in the received data, using coefficient data of a previously restored block stored in a memory; , Entropy decoding the received data,
Decoding means for outputting decoded prediction error coefficient data, and adding the prediction block coefficient data output from the prediction means to the prediction error coefficient data output from the decoding means, The coefficient data of the current block at the present time is restored and output, and the third addition means stored in the block memory and the coefficient data of the prediction error output from the third addition means are dequantized and output. Inverse quantization means, another inverse transformation means for inversely transforming the coefficient data of the current block output from the inverse quantization means and outputting the restored image data of the current block, and the other inverse transformation means Compensating means for outputting motion prediction error data by performing motion compensation processing on the image data of the current block output from Subtracting the prediction error data of the motion compensation output from the another compensating means from the image data of the current block output from the other inverse transforming means, and outputting the restored image data of the subtracted block And a fifth adding means for performing the operation.
【0047】第15の発明に係る画像予測符号化装置
は、入力された画像信号をそれぞれ二次元配列の画素値
を含む複数のブロックの画像データにサンプリングする
サンプリング手段と、上記サンプリング手段によってサ
ンプリングされたブロックの画像データを所定の変換領
域の係数データに変換する変換手段と、復元されたブロ
ックの係数データを格納するブロックメモリと、上記ブ
ロックメモリに格納された前に再構築されたブロックの
係数データに基づいて、上記変換手段によって変換され
たブロックの係数データに対して複数の予測ブロックの
係数データを形成する予測手段と、上記予測手段によっ
て形成された複数の予測ブロックの係数データのうち、
最も効率が良い予測ブロックの係数データ及びスキャン
方法を決定し選択して出力し、上記選択された予測ブロ
ック及びスキャン方法を表す指示子を指示ビットの形式
で画像予測復号化装置に送信する決定手段と、上記決定
手段によって選択された予測ブロックの係数データを、
現時点のカレントブロックの係数データから減算するこ
とにより、減算結果の予測誤差の係数データを出力する
第1の加算手段と、上記第1の加算手段から出力される
予測誤差の係数データを量子化する量子化手段と、上記
量子化手段からの予測誤差の係数データに対して上記決
定手段によって決定されたスキャン方法でスキャン処理
を実行して、スキャン処理後の予測誤差の係数データを
出力するスキャン手段と、上記スキャン手段から出力さ
れるスキャン処理後の予測誤差の係数データをエントロ
ピー符号化して、符号化された予測誤差の係数データを
画像予測復号化装置に送信する符号化手段と、上記量子
化手段からの予測誤差の係数データを逆量子化して、復
元されたブロックの係数データを出力する逆量子化手段
と、上記決定手段から出力される予測ブロックの係数デ
ータを、上記逆量子化手段から出力される予測誤差の係
数データに加算することにより、復元されたブロックの
係数データを出力するとともに、上記ブロックメモリに
格納する第2の加算手段と、上記第2の加算手段から出
力されるブロックの係数データを逆変換することによ
り、復元されたブロックの画像データを生成する逆変換
手段とを備える。An image prediction encoding apparatus according to a fifteenth aspect of the present invention provides a sampling means for sampling an input image signal into image data of a plurality of blocks each including a two-dimensional array of pixel values, Means for converting the image data of the restored block into coefficient data of a predetermined conversion area, a block memory for storing the restored coefficient data of the block, and a coefficient of the previously reconstructed block stored in the block memory. Based on the data, a prediction unit that forms coefficient data of a plurality of prediction blocks with respect to the coefficient data of the block converted by the conversion unit, and among the coefficient data of the plurality of prediction blocks formed by the prediction unit,
Determining means for determining and selecting the most efficient coefficient data of the predicted block and the scanning method, outputting the selected prediction block and the indicator indicating the selected scanning method to the image prediction decoding apparatus in the form of instruction bits And the coefficient data of the prediction block selected by the determining means,
By subtracting from the current coefficient data of the current block, the first addition means for outputting coefficient data of the prediction error resulting from the subtraction, and quantizing the prediction error coefficient data output from the first addition means. Quantizing means, and scanning means for executing a scanning process on the coefficient data of the prediction error from the quantization means by the scanning method determined by the determining means and outputting coefficient data of the prediction error after the scanning processing Encoding means for entropy-encoding coefficient data of a prediction error after the scanning process output from the scanning means, and transmitting the encoded coefficient data of the prediction error to an image prediction decoding device; and Dequantizing means for dequantizing coefficient data of a prediction error from the means and outputting coefficient data of a reconstructed block; The coefficient data of the prediction block output from the inverse quantization unit is added to the coefficient data of the prediction error output from the inverse quantization means, thereby outputting the restored coefficient data of the block and storing the coefficient data in the block memory. 2 adding means and an inverse transforming means for inversely transforming the coefficient data of the block output from the second adding means to generate image data of the restored block.
【0048】また、第16の発明に係る画像予測符号化
装置は、入力された画像信号を二次元配列の画素値を含
む複数のブロックの画像データにサンプリングするサン
プリング手段と、上記サンプリング手段によってサンプ
リングされた複数のブロックの画像データを所定の変換
領域の係数データに変換する変換手段と、上記変換手段
からの変換領域の係数データを量子化する量子化手段
と、復元されたブロックの係数データを格納するブロッ
クメモリと、上記ブロックメモリに格納された前に再構
築されたブロックの係数データに基づいて、上記変換手
段によって変換されたブロックの係数データに対して複
数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの
係数データのうち、最も効率が良い予測ブロックの係数
データ及びスキャン方法を決定し選択して出力し、上記
選択された予測ブロック及びスキャン方法を表す指示子
を指示ビットの形式で画像予測復号化装置に送信する決
定手段と、上記決定手段によって選択された予測ブロッ
クの係数データを、現時点のカレントブロックの係数デ
ータから減算することにより、減算結果の予測誤差の係
数データを出力する第1の加算手段と、上記第1の加算
手段からの予測誤差の係数データに対して上記決定手段
によって決定されたスキャン方法でスキャン処理を実行
して、スキャン処理後の予測誤差の係数データを出力す
るスキャン手段と、上記スキャン手段から出力されるス
キャン処理後の予測誤差の係数データをエントロピー符
号化して、符号化された予測誤差の係数データを画像予
測復号化装置に送信する符号化手段と、上記第1の加算
手段からの予測誤差の係数データを、上記決定手段から
出力される予測ブロックの係数データを加算することに
より、量子化されたカレントブロックの係数データを復
元して出力するとともに、上記ブロックメモリに格納す
る第2の加算手段と、上記第2の加算手段から出力され
るカレントブロックの係数データを逆量子化して出力す
る逆量子化手段と、上記逆量子化手段からのカレントブ
ロックの係数データを逆変換することにより、復元され
たブロックの画像データを生成する逆変換手段とを備え
る。さらに、第17の発明に係る画像予測符号化装置
は、入力された画像信号をそれぞれ二次元配列の画素値
を含む複数のブロックの画像データにサンプリングする
サンプリング手段と、入力されるブロックの画像データ
に対して動き補償処理を実行することにより、動き補償
されたブロックの予測誤差の画像データを生成して出力
する補償手段と、上記サンプリング手段から出力される
ブロックの画像データから、上記補償手段から出力され
るブロックの予測誤差の画像データを減算して、減算結
果のブロックの画像データを出力する第1の加算手段
と、上記第1の加算手段から出力されるブロックの画像
データを所定の変換領域の係数データに変換する変換手
段と、復元されたブロックの係数データを格納するブロ
ックメモリと、上記ブロックメモリに格納された前に再
構築されたブロックの係数データに基づいて、上記変換
手段によって変換されたブロックの係数データに対して
複数の予測ブロックの係数データを形成する予測手段
と、上記予測手段によって形成された複数の予測ブロッ
クの係数データのうち、最も効率が良い予測ブロックの
係数データ及びスキャン方法を決定し選択して出力し、
上記選択された予測ブロック及びスキャン方法を表す指
示子を指示ビットの形式で画像予測復号化装置に送信す
る決定手段と、上記決定手段によって選択された予測ブ
ロックの係数データを、現時点のカレントブロックの係
数データから減算することにより、減算結果の予測誤差
の係数データを出力する第2の加算手段と、上記第2の
加算手段から出力される予測誤差の係数データを量子化
する量子化手段と、上記量子化手段からの予測誤差の係
数データに対して上記決定手段によって決定されたスキ
ャン方法でスキャン処理を実行して、スキャン処理後の
予測誤差の係数データを出力するスキャン手段と、上記
スキャン手段から出力されるスキャン処理後の予測誤差
の係数データをエントロピー符号化して、符号化された
予測誤差の係数データを画像予測復号化装置に送信する
符号化手段と、上記量子化手段からの予測誤差の係数デ
ータを逆量子化して、復元されたブロックの係数データ
を出力する逆量子化手段と、上記決定手段から出力され
る予測ブロックの係数データを、上記逆量子化手段から
出力される予測誤差の係数データに加算することによ
り、復元されたブロックの係数データを出力するととも
に、上記ブロックメモリに格納する第3の加算手段と、
上記第3の加算手段から出力されるブロックの係数デー
タを逆変換することにより、復元されたブロックの画像
データを生成する逆変換手段と、上記逆変換手段からの
復元されたブロックの画像データに、上記補償手段から
出力される動き補償されたブロックの予測誤差の画像デ
ータを加算することにより、復元されたブロックの画像
データを上記補償手段に出力する第4の加算手段とを備
える。The image predictive coding apparatus according to a sixteenth aspect of the present invention provides a sampling means for sampling an input image signal into image data of a plurality of blocks including pixel values of a two-dimensional array, Conversion means for converting the image data of the plurality of blocks into coefficient data of a predetermined conversion area, quantization means for quantizing the coefficient data of the conversion area from the conversion means, and coefficient data of the restored block. Based on the block memory to be stored and the coefficient data of the previously reconstructed block stored in the block memory, coefficient data of a plurality of prediction blocks is formed from the coefficient data of the block converted by the conversion unit. Predictive means to
The coefficient data of the most efficient prediction block and the scanning method among the coefficient data of the plurality of prediction blocks formed by the prediction means are determined, selected and output, and an instruction indicating the selected prediction block and the scanning method is provided. Determining means for transmitting a child to the image prediction decoding apparatus in the form of an instruction bit, and subtracting coefficient data of a prediction block selected by the determining means from coefficient data of a current block at the present time, thereby predicting a subtraction result. A first adder for outputting coefficient data of the error, and a scan process performed by the scan method determined by the determiner on the coefficient data of the prediction error from the first adder; A scanning means for outputting coefficient data of the prediction error of the image, and a prediction after the scanning process outputted from the scanning means. Encoding means for entropy-encoding the error coefficient data and transmitting the encoded prediction error coefficient data to the image predictive decoding device; and the prediction error coefficient data from the first adding means, A second adding means for restoring and outputting the quantized coefficient data of the current block by adding the coefficient data of the prediction block outputted from the means, and storing the data in the block memory; Inverse quantization means for inversely quantizing the coefficient data of the current block output from the adding means and outputting the result; and image data of the block restored by inversely transforming the coefficient data of the current block from the inverse quantization means And inverse conversion means for generating Further, an image prediction encoding apparatus according to a seventeenth aspect of the present invention comprises a sampling unit for sampling an input image signal into image data of a plurality of blocks each including a two-dimensional array of pixel values, and image data of the input block. The motion compensation processing is performed on the compensation means for generating and outputting the image data of the prediction error of the motion-compensated block, and from the image data of the block output from the sampling means, First adding means for subtracting the image data of the prediction error of the output block and outputting the image data of the block as a result of the subtraction; and converting the image data of the block output from the first adding means into a predetermined transform. A conversion unit for converting the coefficient data of the area, a block memory for storing the coefficient data of the restored block, A prediction unit for forming coefficient data of a plurality of prediction blocks from coefficient data of a block converted by the conversion unit based on coefficient data of a block reconstructed before stored in a memory; Among the coefficient data of the plurality of prediction blocks formed by, the coefficient data of the most efficient prediction block and the scanning method are determined, selected and output,
Determining means for transmitting an indicator representing the selected prediction block and the scanning method to the image prediction decoding apparatus in the form of an instruction bit; and transmitting coefficient data of the prediction block selected by the determination means to the current block of the current block. A second adding unit that outputs coefficient data of a prediction error resulting from the subtraction by subtracting the coefficient data from the coefficient data; a quantizing unit that quantizes the coefficient data of the prediction error output from the second adding unit; Scanning means for performing a scan process on the coefficient data of the prediction error from the quantization means by the scanning method determined by the determination means, and outputting coefficient data of the prediction error after the scan processing; The entropy encoding is performed on the coefficient data of the prediction error after the scan processing output from the Encoding means for transmitting the data to the image prediction decoding apparatus, inverse quantization means for inversely quantizing the coefficient data of the prediction error from the quantization means, and outputting coefficient data of the restored block, By adding the coefficient data of the prediction block output from the means to the coefficient data of the prediction error output from the inverse quantization means, the restored coefficient data of the block is output and stored in the block memory. Third adding means;
Inverse transform means for generating image data of a restored block by inversely transforming the coefficient data of the block output from the third adding means, and image data of the restored block from the inverse transform means A fourth adding unit that adds the image data of the prediction error of the motion-compensated block output from the compensating unit and outputs the restored image data of the block to the compensating unit.
【0049】またさらに、第18の発明に係る画像予測
符号化装置は、入力された画像信号を二次元配列の画素
値を含む複数のブロックの画像データにサンプリングす
るサンプリング手段と、入力されるブロックの画像デー
タに対して動き補償処理を実行することにより、動き補
償されたブロックの予測誤差の画像データを生成して出
力する補償手段と、上記サンプリング手段から出力され
るブロックの画像データから、上記補償手段から出力さ
れるブロックの予測誤差の画像データを減算して、減算
結果のブロックの画像データを出力する第1の加算手段
と、上記第1の加算手段から出力されるブロックの画像
データを所定の変換領域の係数データに変換する変換手
段と、上記変換手段からの変換領域の係数データを量子
化する量子化手段と、復元されたブロックの係数データ
を格納するブロックメモリと、上記ブロックメモリに格
納された前に再構築されたブロックの係数データに基づ
いて、上記変換手段によって変換されたブロックの係数
データに対して複数の予測ブロックの係数データを形成
する予測手段と、上記予測手段によって形成された複数
の予測ブロックの係数データのうち、最も効率が良い予
測ブロックの係数データ及びスキャン方法を決定し選択
して出力し、上記選択された予測ブロック及びスキャン
方法を表す指示子を指示ビットの形式で画像予測復号化
装置に送信する決定手段と、上記決定手段によって選択
された予測ブロックの係数データを、現時点のカレント
ブロックの係数データから減算することにより、減算結
果の予測誤差の係数データを出力する第2の加算手段
と、上記第2の加算手段からの予測誤差の係数データに
対して上記決定手段によって決定されたスキャン方法で
スキャン処理を実行して、スキャン処理後の予測誤差の
係数データを出力するスキャン手段と、上記スキャン手
段から出力されるスキャン処理後の予測誤差の係数デー
タをエントロピー符号化して、符号化された予測誤差の
係数データを画像予測復号化装置に送信する符号化手段
と、上記第2の加算手段からの予測誤差の係数データ
を、上記決定手段から出力される予測ブロックの係数デ
ータを加算することにより、量子化されたカレントブロ
ックの係数データを復元して出力するとともに、上記ブ
ロックメモリに格納する第3の加算手段と、上記第3の
加算手段から出力されるカレントブロックの係数データ
を逆量子化して出力する逆量子化手段と、上記逆量子化
手段からのカレントブロックの係数データを逆変換する
ことにより、復元されたブロックの画像データを生成す
る逆変換手段と、上記逆変換手段からの復元されたブロ
ックの画像データに、上記補償手段から出力される動き
補償されたブロックの予測誤差の画像データを加算する
ことにより、復元されたブロックの画像データを上記補
償手段に出力する第4の加算手段とを備える。Still further, an image predictive encoding apparatus according to an eighteenth aspect of the present invention comprises a sampling means for sampling an input image signal into image data of a plurality of blocks including pixel values in a two-dimensional array; By performing motion compensation processing on the image data of (i), the compensation means for generating and outputting the image data of the prediction error of the motion-compensated block, and the image data of the block output from the sampling means, First adding means for subtracting the prediction error image data of the block output from the compensating means and outputting the image data of the block resulting from the subtraction; and calculating the block image data output from the first adding means. Conversion means for converting coefficient data of a predetermined conversion area into coefficient data of the predetermined conversion area, and quantization means for quantizing coefficient data of the conversion area from the conversion means A block memory for storing the coefficient data of the restored block, and a coefficient data of the block converted by the conversion means based on the coefficient data of the previously reconstructed block stored in the block memory. Prediction means for forming coefficient data of a plurality of prediction blocks; and coefficient data of the most efficient prediction block and a scanning method among coefficient data of the plurality of prediction blocks formed by the prediction means are determined, selected and output. Determining means for transmitting an indicator indicating the selected prediction block and the scanning method to the image prediction decoding apparatus in the form of an indication bit; and transmitting coefficient data of the prediction block selected by the determination means at the current time. By subtracting from the coefficient data of the block, the coefficient data of the prediction error resulting from the subtraction is output. A second adding means for performing a scan process on the coefficient data of the prediction error from the second addition means by the scan method determined by the determining means, and calculating the coefficient data of the prediction error after the scan processing; A scanning unit for outputting, and an encoding unit for entropy-encoding the coefficient data of the prediction error after the scan processing output from the scanning unit and transmitting the encoded coefficient data of the prediction error to the image prediction decoding device. By adding the coefficient data of the prediction error from the second adding means to the coefficient data of the prediction block output from the determining means, the quantized coefficient data of the current block is restored and output. The third adding means stored in the block memory and the coefficient data of the current block output from the third adding means are inverted. Inverse quantization means for quantizing and outputting; inverse transform means for generating image data of a restored block by inversely transforming coefficient data of the current block from the inverse quantization means; and Adding the image data of the prediction error of the motion-compensated block output from the compensating means to the image data of the reconstructed block, and outputting the restored block image data to the compensating means. And an adding means.
【0050】第19の発明に係る画像予測復号化装置
は、第15の発明に係る画像予測符号化装置に対応して
設けられる画像予測復号化装置であって、上記画像予測
符号化装置から受信された受信データから指示ビットを
抽出する抽出手段と、復元されたブロックの係数データ
を格納するブロックメモリと、上記抽出手段によって抽
出された指示ビットが示す予測ブロックに基づいて、上
記ブロックメモリに格納された以前に復元されたブロッ
クの係数データを用いて、上記受信データに含まれる現
時点のカレントブロックの係数データに対して予測ブロ
ックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化され
た予測誤差の係数データを出力する復号化手段と、上記
復号化手段から出力される予測誤差の係数データに対し
て、上記上記抽出手段によって抽出された指示ビットが
示すスキャン方法に基づいて、逆スキャン処理を実行し
て、逆スキャン処理後の予測誤差の係数データを出力す
る逆スキャン手段と、上記逆スキャン手段から出力され
る逆スキャン処理後の予測誤差の係数データを逆量子化
して出力する逆量子化手段と、上記別の予測手段から出
力される予測ブロックの係数データを、上記逆量子化手
段から出力される予測誤差の係数データに加算すること
により、現時点のカレントブロックの係数データを復元
して出力するとともに、上記ブロックメモリに格納する
第3の加算手段と、上記第3の加算手段から出力される
カレントブロックの係数データを逆変換して、復元され
たカレントブロックの画像データを出力する別の逆変換
手段とを備える。An image predictive decoding device according to a nineteenth aspect is an image predictive decoding device provided corresponding to the image predictive encoding device according to the fifteenth aspect, wherein the image predictive decoding device receives the image predictive decoding device from the image predictive encoding device. Extracting means for extracting an instruction bit from the received data, a block memory for storing coefficient data of a reconstructed block, and storing in the block memory based on a prediction block indicated by the instruction bit extracted by the extracting means. Another prediction means for generating and outputting coefficient data of a prediction block with respect to the coefficient data of the current block included in the received data using the coefficient data of the previously restored block,
Decoding means for entropy decoding the received data and outputting decoded prediction error coefficient data; and prediction error coefficient data output from the decoding means, extracted by the extraction means. Based on the scan method indicated by the indicated bit, performs reverse scan processing, and outputs coefficient data of the prediction error after the reverse scan processing, and reverse scan processing that is output from the reverse scan processing. Inverse quantization means for inversely quantizing and outputting the prediction error coefficient data, and adding the prediction block coefficient data output from the another prediction means to the prediction error coefficient data output from the inverse quantization means By doing so, the third addition means for restoring and outputting the coefficient data of the current block at the present time and storing the coefficient data in the block memory is provided. And inverse transform coefficient data of the current block outputted from said third adding means, and a separate inverse conversion means for outputting the image data of the restored current block.
【0051】また、第20の発明に係る画像予測復号化
装置は、第16の発明に係る画像予測符号化装置に対応
して設けられる画像予測復号化装置であって、上記画像
予測符号化装置から受信された受信データから指示ビッ
トを抽出する抽出手段と、復元されたブロックの係数デ
ータを格納するブロックメモリと、上記抽出手段によっ
て抽出された指示ビットが示す予測ブロックに基づい
て、上記ブロックメモリに格納された以前に復元された
ブロックの係数データを用いて、上記受信データに含ま
れる現時点のカレントブロックの係数データに対して予
測ブロックの係数データを生成して出力する別の予測手
段と、上記受信データをエントロピー復号化して、復号
化された予測誤差の係数データを出力する復号化手段
と、上記復号化手段から出力される予測誤差の係数デー
タに対して、上記上記抽出手段によって抽出された指示
ビットが示すスキャン方法に基づいて、逆スキャン処理
を実行して、逆スキャン処理後の予測誤差の係数データ
を出力する逆スキャン手段と、上記予測手段から出力さ
れる予測ブロックの係数データを、上記逆スキャン手段
から出力される予測誤差の係数データに加算することに
より、現時点のカレントブロックの係数データを復元し
て出力するとともに、上記ブロックメモリに格納する第
3の加算手段と、上記第3の加算手段から出力される予
測誤差の係数データを逆量子化して出力する逆量子化手
段と、上記逆量子化手段から出力されるカレントブロッ
クの係数データを逆変換して、復元されたカレントブロ
ックの画像データを出力する別の逆変換手段とを備え
る。An image prediction decoding apparatus according to a twentieth invention is an image prediction decoding apparatus provided corresponding to the image prediction encoding apparatus according to the sixteenth invention, wherein the image prediction decoding apparatus is Extracting means for extracting an instruction bit from the received data received from the block memory, a block memory for storing coefficient data of a reconstructed block, and the block memory based on a prediction block indicated by the instruction bit extracted by the extracting means. Another prediction means for generating and outputting coefficient data of a prediction block with respect to coefficient data of a current block included in the received data, using coefficient data of a previously restored block stored in the received data, Decoding means for entropy decoding the received data and outputting decoded prediction error coefficient data; and A reverse scan process is performed on the output prediction error coefficient data based on the scan method indicated by the instruction bit extracted by the extraction unit, and the prediction error coefficient data after the reverse scan process is output. The inverse scan means and the coefficient data of the prediction block output from the prediction means are added to the coefficient data of the prediction error output from the inverse scan means to restore the coefficient data of the current block at the present time. A third adding means for outputting and storing in the block memory, a dequantizing means for dequantizing and outputting the coefficient data of the prediction error output from the third adding means, Another inverse transform that inversely transforms the coefficient data of the current block output from and outputs the restored image data of the current block And a stage.
【0052】さらに、第21の発明に係る画像予測復号
化装置は、第17の発明に係る画像予測符号化装置に対
応して設けられる画像予測復号化装置であって、上記画
像予測符号化装置から受信された受信データから指示ビ
ットを抽出する抽出手段と、復元されたブロックの係数
データを格納するブロックメモリと、上記抽出手段によ
って抽出された指示ビットが示す予測ブロックに基づい
て、上記ブロックメモリに格納された以前に復元された
ブロックの係数データを用いて、上記受信データに含ま
れる現時点のカレントブロックの係数データに対して予
測ブロックの係数データを生成して出力する別の予測手
段と、上記受信データをエントロピー復号化して、復号
化された予測誤差の係数データを出力する復号化手段
と、上記復号化手段から出力される予測誤差の係数デー
タに対して、上記上記抽出手段によって抽出された指示
ビットが示すスキャン方法に基づいて、逆スキャン処理
を実行して、逆スキャン処理後の予測誤差の係数データ
を出力する逆スキャン手段と、上記逆スキャン手段から
出力される逆スキャン処理後の予測誤差の係数データを
逆量子化して出力する逆量子化手段と、上記別の予測手
段から出力される予測ブロックの係数データを、上記逆
量子化手段から出力される予測誤差の係数データに加算
することにより、現時点のカレントブロックの係数デー
タを復元して出力するとともに、上記ブロックメモリに
格納する第3の加算手段と、上記第3の加算手段から出
力されるカレントブロックの係数データを逆変換して、
復元されたカレントブロックの画像データを出力する別
の逆変換手段と、上記別の逆変換手段から出力されるカ
レントブロックの画像データに対して動き補償処理を実
行することにより、動き補償の予測誤差データを出力す
る別の補償手段と、上記別の逆変換手段から出力される
カレントブロックの画像データから、上記別の補償手段
から出力される動き補償の予測誤差データを減算して、
減算結果の復元されたブロックの画像データを出力する
第5の加算手段とを備える。またさらに、第22の発明
に係る画像予測復号化装置は、第18の発明に係る画像
予測符号化装置に対応して設けられる画像予測復号化装
置であって、上記画像予測符号化装置から受信された受
信データから指示ビットを抽出する抽出手段と、復元さ
れたブロックの係数データを格納するブロックメモリ
と、上記抽出手段によって抽出された指示ビットが示す
予測ブロックに基づいて、上記ブロックメモリに格納さ
れた以前に復元されたブロックの係数データを用いて、
上記受信データに含まれる現時点のカレントブロックの
係数データに対して予測ブロックの係数データを生成し
て出力する別の予測手段と、上記受信データをエントロ
ピー復号化して、復号化された予測誤差の係数データを
出力する復号化手段と、上記復号化手段から出力される
予測誤差の係数データに対して、上記上記抽出手段によ
って抽出された指示ビットが示すスキャン方法に基づい
て、逆スキャン処理を実行して、逆スキャン処理後の予
測誤差の係数データを出力する逆スキャン手段と、上記
予測手段から出力される予測ブロックの係数データを、
上記逆スキャン手段から出力される予測誤差の係数デー
タに加算することにより、現時点のカレントブロックの
係数データを復元して出力するとともに、上記ブロック
メモリに格納する第3の加算手段と、上記第3の加算手
段から出力される予測誤差の係数データを逆量子化して
出力する逆量子化手段と、上記逆量子化手段から出力さ
れるカレントブロックの係数データを逆変換して、復元
されたカレントブロックの画像データを出力する別の逆
変換手段と、上記別の逆変換手段から出力されるカレン
トブロックの画像データに対して動き補償処理を実行す
ることにより、動き補償の予測誤差データを出力する別
の補償手段と、上記別の逆変換手段から出力されるカレ
ントブロックの画像データから、上記別の補償手段から
出力される動き補償の予測誤差データを減算して、減算
結果の復元されたブロックの画像データを出力する第5
の加算手段とを備える。Further, an image predictive decoding apparatus according to a twenty-first aspect is an image predictive decoding apparatus provided corresponding to the image predictive encoding apparatus according to the seventeenth aspect, wherein Extracting means for extracting an indicator bit from the received data received from the block memory, a block memory for storing coefficient data of a reconstructed block, and the block memory based on a prediction block indicated by the indicator bit extracted by the extracting means. Another prediction means for generating and outputting coefficient data of a prediction block with respect to coefficient data of a current block included in the received data, using coefficient data of a previously restored block stored in the received data, Decoding means for entropy decoding the received data and outputting decoded prediction error coefficient data; and decoding means A reverse scan process is performed on the coefficient data of the prediction error output from the base station based on the scan method indicated by the instruction bit extracted by the extraction unit, and the coefficient data of the prediction error after the reverse scan process is obtained. Inverse scanning means for outputting, inverse quantization means for inversely quantizing the coefficient data of the prediction error after the inverse scanning process outputted from the inverse scanning means and outputting the data, and a prediction block outputted from the another prediction means. Third adding means for restoring and outputting the coefficient data of the current block at the present time by adding the coefficient data to the coefficient data of the prediction error output from the inverse quantization means, and storing the data in the block memory And inversely transform the coefficient data of the current block output from the third adding means,
Another inverse transform unit that outputs the restored image data of the current block, and a motion compensation process is performed on the image data of the current block output from the another inverse transform unit, thereby obtaining a prediction error of motion compensation. Another compensating means for outputting data, and subtracting the prediction error data of the motion compensation output from the another compensating means from the image data of the current block output from the other inverse transforming means,
A fifth adding unit that outputs image data of the block in which the subtraction result is restored. Still further, an image prediction decoding apparatus according to a twenty-second invention is an image prediction decoding apparatus provided corresponding to the image prediction encoding apparatus according to the eighteenth invention, wherein the image prediction decoding apparatus receives the image prediction decoding apparatus from the image prediction encoding apparatus. Extracting means for extracting an instruction bit from the received data, a block memory for storing coefficient data of the reconstructed block, and storing in the block memory based on a prediction block indicated by the instruction bit extracted by the extracting means. Using the previously restored block coefficient data
Another prediction means for generating and outputting coefficient data of a prediction block with respect to coefficient data of a current block included in the reception data at the present time, and entropy decoding of the reception data to obtain a coefficient of a decoded prediction error Decoding means for outputting data; and performing inverse scanning on the coefficient data of the prediction error output from the decoding means, based on a scanning method indicated by the instruction bits extracted by the extracting means. Inverse scanning means for outputting coefficient data of a prediction error after inverse scanning, and coefficient data of a prediction block output from the prediction means,
A third adding means for restoring and outputting the current coefficient data of the current block by adding the coefficient data to the prediction error output from the inverse scanning means and storing the coefficient data in the block memory; A dequantizing means for dequantizing and outputting the coefficient data of the prediction error output from the adding means, and an inverse transform of the coefficient data of the current block output from the dequantizing means to obtain a restored current block. Another inverse transforming means for outputting the image data of the current block, and performing motion compensation processing on the image data of the current block outputted from the other inverse transforming means, thereby outputting prediction error data for motion compensation. From the image data of the current block output from the another inverse transforming means, and the motion compensation output from the other compensating means. Fifth prediction error data by subtracting the outputs the image data of the restored block of the subtraction result
And an adding means.
【0053】また、第23の発明に係る画像予測符号化
方法は、上記画像予測符号化装置における各手段をそれ
ぞれ各ステップに置き換えたステップを含む。The image predictive encoding method according to the twenty-third aspect includes a step in which each unit in the image predictive encoding apparatus is replaced with each step.
【0054】さらに、第24の発明に係る画像予測復号
化方法は、上記画像予測復号化装置における各手段をそ
れぞれ各ステップに置き換えたステップを含む。Further, the picture predictive decoding method according to the twenty-fourth aspect of the present invention includes steps in which each unit in the picture predictive decoding apparatus is replaced with each step.
【0055】また、第25の発明に係る記録媒体は、上
記画像予測符号化方法における各ステップを含むプログ
ラムを記録した記録媒体である。A recording medium according to a twenty-fifth aspect of the present invention is a recording medium storing a program including each step in the above-described image predictive encoding method.
【0056】さらに、第26の発明に係る記録媒体は、
上記画像予測復号化方法における各ステップを含むプロ
グラムを記録した記録媒体である。Further, the recording medium according to the twenty-sixth aspect is:
It is a recording medium that records a program including each step in the image prediction decoding method.
【0057】[0057]
【発明の実施の形態】以下、本発明に係る好ましい実施
形態について、添付の図面を参照して説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments according to the present invention will be described below with reference to the accompanying drawings.
【0058】<第1の実施形態グループ>第1の実施形
態グループは、第1の乃至第4の実施形態を含む。<First Embodiment Group> The first embodiment group includes the first to fourth embodiments.
【0059】<第1の実施形態>図1は、本発明に係る
第1の実施形態である画像予測符号化装置の構成を示す
ブロック図である。<First Embodiment> FIG. 1 is a block diagram showing a configuration of an image predictive coding apparatus according to a first embodiment of the present invention.
【0060】図1において、101は入力端子、102
は第1の加算器、103は符号化器、106は出力端
子、107は復号化器、110は第2の加算器、111
はラインメモリ、112は予測信号発生器である。In FIG. 1, reference numeral 101 denotes an input terminal;
Is a first adder, 103 is an encoder, 106 is an output terminal, 107 is a decoder, 110 is a second adder, 111
Is a line memory, and 112 is a prediction signal generator.
【0061】以下、画像予測符号化装置の構成及び動作
について説明する。入力端子101に、符号化の処理対
象となる画像データが入力される。ここで、入力された
画像データは複数の隣接する小領域に分割される。Hereinafter, the configuration and operation of the image predictive coding apparatus will be described. Image data to be encoded is input to an input terminal 101. Here, the input image data is divided into a plurality of adjacent small areas.
【0062】図2において、8×8の小領域に分割され
た場合の入力された画像データの画像を示し、図3にお
いて、三角形小領域に分割された場合の入力された画像
データの画像を示す。複数の小領域の画像データを順次
に符号化するが、処理対象の小領域の画像データは、入
力端子101及びライン113を介して加算器102に
入力される。一方、予測信号発生器112は、画面内予
測小領域の画像データを発生し、発生された画像データ
を最適予測小領域の画像データとして、ライン121を
介して加算器102に出力する。FIG. 2 shows an image of input image data when divided into 8 × 8 small areas, and FIG. 3 shows an image of input image data when divided into triangular small areas. Show. Image data of a plurality of small areas is sequentially encoded. Image data of a small area to be processed is input to the adder 102 via the input terminal 101 and the line 113. On the other hand, the prediction signal generator 112 generates image data of the intra-screen predicted small area, and outputs the generated image data to the adder 102 via the line 121 as the optimal predicted small area image data.
【0063】加算器102は、処理対象の小領域におけ
る入力された画像データの画素値から、予測信号発生器
112からの最適予測小領域の対応する画素値を減算
し、減算結果の差分小領域の画像データを生成して符号
化器103に出力して、圧縮符号化処理を実行する。本
実施形態では、符号化器103はDCT変換器104と
量子化器(Q)105を備え、差分小領域の画像データ
は、DCT変換器104によって周波数領域の画像信号
に変換され、DCT変換係数を得る。次いで、DCT変
換係数は、量子化器105によって量子化される。量子
化された小領域の画像データはライン116を介して出
力端子106に出力され、さらに可変長又は固定長の符
号に変換された後、例えば光ディスクなどの記録媒体に
記憶され又は通信回線を介して伝送される(図示せ
ず。)。The adder 102 subtracts the corresponding pixel value of the optimal predicted small area from the prediction signal generator 112 from the pixel value of the input image data in the small area to be processed, and obtains the difference small area resulting from the subtraction. , And outputs the image data to the encoder 103 to execute a compression encoding process. In the present embodiment, the encoder 103 includes a DCT transformer 104 and a quantizer (Q) 105, and the image data in the small difference area is converted into an image signal in the frequency domain by the DCT converter 104, and the DCT transform coefficient Get. Next, the DCT transform coefficients are quantized by the quantizer 105. The quantized image data of the small area is output to the output terminal 106 via a line 116 and further converted into a variable-length or fixed-length code, and then stored in a recording medium such as an optical disk or via a communication line. (Not shown).
【0064】同時に、量子化された小領域の画像データ
は復号化器107に入力され、ここで、当該復号化器1
07は、逆量子化器108と逆DCT変換器109とを
備え、入力された小領域の画像データを、伸長差分小領
域の画像データに復元する。本実施形態では、入力され
た小領域の画像データは、逆量子化器108によって逆
量子化された後、逆量子化された画像データは、逆離散
コサイン変換器(以下、逆DCT変換器という。)10
9によって空間領域の画像信号に変換される。このよう
に得られた伸長差分小領域の画像データは加算器110
に出力され、加算器110は、伸長差分小領域の画像デ
ータに、予測信号発生器112からライン121とライ
ン122を介して出力される最適予測画像信号を加算し
て、再生小領域の画像データを生成し、再生小領域の画
像データの中から、画面内予測画像信号を生成するため
の再生画素値をラインメモリ111に格納する。予測信
号発生器112は以下のように、画面内予測小領域の画
像データを発生する。すなわち、予測信号発生器112
は、処理対象の小領域の画像データに隣接する再生され
た画像データの画素値を、画面内予測小領域の画像デー
タの画素値として発生する。At the same time, the quantized image data of the small area is input to the decoder 107, where the decoder 1
07 includes an inverse quantizer 108 and an inverse DCT transformer 109, and restores the input small area image data to the expanded difference small area image data. In the present embodiment, after the input small region image data is inversely quantized by the inverse quantizer 108, the inversely quantized image data is converted to an inverse discrete cosine transform (hereinafter referred to as an inverse DCT transformer). .) 10
9, the image signal is converted into an image signal in the spatial domain. The image data of the expanded difference small area obtained in this manner is added to the adder 110.
The adder 110 adds the optimal prediction image signal output from the prediction signal generator 112 via the lines 121 and 122 to the image data of the expanded difference small area, Is generated, and a reproduction pixel value for generating an intra-screen prediction image signal is stored in the line memory 111 from the image data of the reproduction small area. The prediction signal generator 112 generates image data of an intra-screen prediction small area as described below. That is, the prediction signal generator 112
Generates the pixel value of the reproduced image data adjacent to the image data of the small area to be processed as the pixel value of the image data of the intra prediction small area.
【0065】図2において、ブロック200を処理対象
の小領域とすると、隣接する再生された画像データの画
素値はa0、a1、a2、…、a6、a7、b0、b1、b2、
…、b6、b7である。図3において、三角形301を処
理対象の小領域とすると、隣接する再生された画像デー
タの画素値はg0、g1、…、g4、f0、f1、f2、…、
f7、f8である。また、図3の三角形300を処理対象
の小領域とすると、隣接する再生された画像データの画
素値はe0、h0、h1、…、h4である。これらの画素値
をラインメモリ111に格納する。予測信号発生器11
2はラインメモリ111をアクセスし隣接する画像デー
タの画素値を画面内予測小領域の画像データの画素値と
して読み出す。In FIG. 2, assuming that a block 200 is a small area to be processed, the pixel values of adjacent reproduced image data are a 0 , a 1 , a 2 ,..., A 6 , a 7 , b 0 , b 1, b 2,
..., it is a b 6, b 7. In FIG. 3, assuming that a triangle 301 is a small area to be processed, the pixel values of adjacent reproduced image data are g 0 , g 1 ,..., G 4 , f 0 , f 1 , f 2 ,.
f 7 and f 8 . Assuming that the triangle 300 in FIG. 3 is a small area to be processed, the pixel values of the adjacent reproduced image data are e 0 , h 0 , h 1 ,..., H 4 . These pixel values are stored in the line memory 111. Prediction signal generator 11
2 accesses the line memory 111 and reads the pixel values of the adjacent image data as the pixel values of the image data of the intra prediction small area.
【0066】図4及び図5はそれぞれ、図1の画像予測
符号化装置に用いられる予測信号発生器の第1及び第2
の実施例の構成を示すブロック図である。FIGS. 4 and 5 show first and second predictive signal generators used in the image predictive coding apparatus of FIG. 1, respectively.
FIG. 3 is a block diagram showing a configuration of the example.
【0067】図4において、処理対象の小領域に対して
水平方向に隣接する画素値a0、a1、a2、…、a6、a
7はラインメモリ111から予測信号発生器112に入
力され、予測信号発生器112内の発生器401は、水
平方向に同一の画素を例えば8回繰り返して出力するこ
とにより、画面内予測小領域の画像データ403を生成
する。ここで、画面内予測小領域の画像データ403は
処理対象の小領域に対して垂直方向に隣接する画素が存
在しない場合に用いられる。In FIG. 4, pixel values a 0 , a 1 , a 2 ,..., A 6 , a which are horizontally adjacent to the small area to be processed are shown.
7 is input from the line memory 111 to the prediction signal generator 112, and the generator 401 in the prediction signal generator 112 repeatedly outputs the same pixel in the horizontal direction, for example, eight times, so that the intra-screen prediction small area The image data 403 is generated. Here, the image data 403 of the intra-screen predicted small area is used when there is no pixel vertically adjacent to the small area to be processed.
【0068】図5において、処理対象の小領域に対して
垂直方向に隣接する画素値b0、b1、b2、…、b6、b
7がラインメモリ111から予測信号発生器112に入
力され、予測信号発生器112内の発生器402は、垂
直方向に画素を例えば8回繰り返して出力することによ
り、画面内予測小領域の画像データ404を生成する。
ここで、画面内予測小領域の画像データ404は、処理
対象の小領域に対して水平方向に隣接する画素がない場
合に用いられる。水平方向及び垂直方向共に隣接する画
素値が存在する場合、図6に示す第3の実施例のように
画面内予測小領域の画像データを生成する。[0068] In FIG. 5, the pixel values b 0 adjacent in the vertical direction with respect to the objective small region to be processed, b 1, b 2, ... , b 6, b
7 is input from the line memory 111 to the prediction signal generator 112, and the generator 402 in the prediction signal generator 112 repeatedly outputs the pixels in the vertical direction, for example, eight times to output the image data of the intra-screen prediction small area. 404 is generated.
Here, the image data 404 of the intra-screen predicted small area is used when there is no pixel horizontally adjacent to the small area to be processed. When there are adjacent pixel values in both the horizontal and vertical directions, the image data of the intra prediction small area is generated as in the third embodiment shown in FIG.
【0069】図6は、図1の画像予測符号化装置に用い
られる予測信号発生器の第3の実施例の構成を示すブロ
ック図である。FIG. 6 is a block diagram showing the configuration of a third embodiment of the prediction signal generator used in the picture prediction encoding apparatus of FIG.
【0070】図6において、発生器401によって発生
された画面内予測小領域の画像データ403(図5参
照。)と、発生器402によって発生された画面内予測
小領域の画像データ404とは加算器500に入力さ
れ、加算器500は、入力された2つの画像データの和
を2で除算することにより、これら2つの画像データを
平均化する。このように、発生器401,402により
隣接する再生された画素を繰り返して出力し、加算器5
00により平均化演算を行うだけなので、画面内予測小
領域の画像データを高速に生成することができる。な
お、隣接する2つの画像データの画素値を線形補間する
ことにより画面内予測小領域の画像データを生成しても
よい。In FIG. 6, image data 403 (see FIG. 5) of an intra-screen predicted small area generated by generator 401 and image data 404 of an intra-screen predicted small area generated by generator 402 are added. Input to the adder 500, the adder 500 averages these two pieces of image data by dividing the sum of the two pieces of input image data by two. In this way, the adjacent reproduced pixels by the generators 401 and 402 are repeatedly output,
Since only the averaging operation is performed by 00, the image data of the intra prediction small area can be generated at high speed. Note that the image data of the intra prediction small area may be generated by linearly interpolating the pixel values of two adjacent image data.
【0071】図7は、図1の画像予測符号化装置に用い
られる予測信号発生器の第4の実施例の構成を示すブロ
ック図である。FIG. 7 is a block diagram showing the configuration of a fourth embodiment of the prediction signal generator used in the picture prediction encoding apparatus of FIG.
【0072】図7において、処理対象の小領域に対して
水平方向に隣接する画像データの画素値a0、a1、
a2、…、a6、a7は、ラインメモリ111から発生器
401に入力され、発生器401は、水平方向に画素を
繰り返して出力することにより第1の画面内予測小領域
の画像データを生成する。一方、処理対象の小領域に対
して垂直方向に隣接する画素値b0、b1、b2、…、
b6、b7は、ラインメモリ111から発生器402に入
力され、発生器402は、垂直方向に画素を繰り返して
出力することにより第2の画面内予測小領域の画像デー
タを生成する。第1の画面内予測小領域の画像データ
と、第2の画面内予測小領域の画像データは加算器50
0に入力され、これら2つの画像データを平均化するこ
とにより第3の画面内予測小領域の画像データを生成す
る。In FIG. 7, the pixel values a 0 , a 1 , and
a 2 ,..., a 6 , and a 7 are input from the line memory 111 to the generator 401, and the generator 401 repeatedly outputs pixels in the horizontal direction to output image data of the first intra prediction small area. Generate On the other hand, pixel values b 0 , b 1 , b 2 ,... Vertically adjacent to the small region to be processed
b 6 and b 7 are input to the generator 402 from the line memory 111, and the generator 402 generates image data of the second intra prediction small area by repeatedly outputting pixels in the vertical direction. The image data of the first predicted small area in the screen and the image data of the second predicted small area in the screen are added to the adder 50.
The image data of the third predicted small area in the screen is generated by averaging these two pieces of image data.
【0073】一方、処理対象の小領域の画像データは、
ライン616を介して誤差計算器601,602,60
3に入力される。ここで、上記第1の画面内予測小領域
の画像データと、処理対象の小領域の画像データは、誤
差計算器601に入力され、誤差計算器601はそれら
2つの画像データの誤差の絶対値である第1の絶対誤差
を計算して比較器604に出力する。また、上記第2の
画面内予測小領域の画像データと、処理対象の小領域の
画像データは誤差計算器602に入力され、誤差計算器
602はこれら2つの画像データの誤差の絶対値である
第2の絶対誤差を計算して比較器604に出力する。さ
らに、上記第3の画面内予測小領域の画像データと、処
理対象の小領域の画像データは、誤差計算器603に入
力され、誤差計算器603はこれら2つの画像データの
誤差の絶対値である第3の絶対誤差を計算して比較器6
04に出力する。On the other hand, the image data of the small area to be processed is
Error calculators 601, 602, 60 via line 616
3 is input. Here, the image data of the first predicted small area in the screen and the image data of the small area to be processed are input to an error calculator 601, and the error calculator 601 calculates the absolute value of the error between the two image data. Is calculated and output to the comparator 604. The image data of the second predicted small area in the screen and the image data of the small area to be processed are input to the error calculator 602, and the error calculator 602 is an absolute value of an error between these two image data. The second absolute error is calculated and output to the comparator 604. Further, the image data of the third predicted small area in the screen and the image data of the small area to be processed are input to the error calculator 603, and the error calculator 603 calculates the absolute value of the error between these two image data. A certain third absolute error is calculated and the value of the comparator 6 is calculated.
04.
【0074】比較器604は、入力される3つの絶対誤
差を互いに比較して、絶対誤差の最も小さいものを決定
し、それに対応する画面内予測小領域の画像データをラ
イン121に出力するようにスイッチ605を制御す
る。比較器604は、同時に、第1、第2及び第3の画
面内予測小領域の画像データを識別するための識別子を
ライン615を介して受信側又は再生側の装置に出力す
る。この識別子により、受信側又は再生側では画面内予
測小領域の画像データが一意に決まる。このように誤差
の最も小さい画面内予測小領域の画像データを用いるこ
とによって、符号化時の差分信号を抑圧することがで
き、発生ビット数を削減することができる。The comparator 604 compares the three input absolute errors with each other to determine the one with the smallest absolute error, and outputs the corresponding image data of the intra prediction small area to the line 121. The switch 605 is controlled. At the same time, the comparator 604 outputs an identifier for identifying the image data of the first, second and third predicted small areas in the screen to the receiving or reproducing apparatus via the line 615. With this identifier, the image data of the intra prediction small area on the receiving side or the reproducing side is uniquely determined. By using the image data of the intra prediction small area having the smallest error in this way, it is possible to suppress the difference signal at the time of encoding, and it is possible to reduce the number of generated bits.
【0075】<第2の実施形態>図8は、本発明に係る
第2の実施形態である画像予測符号化装置の構成を示す
ブロック図であり、図1と同様のものは同一の符号を付
している。 図8の画像予測符号化装置は、図1の画像
予測符号化装置に比較して、動き検出器700、動き補
償器701、最適モード選択器703とフレームメモリ
702を追加して備えたことを特徴とする。<Second Embodiment> FIG. 8 is a block diagram showing the configuration of an image predictive coding apparatus according to a second embodiment of the present invention. It is attached. 8 is different from the image prediction encoding apparatus in FIG. 1 in that a motion detector 700, a motion compensator 701, an optimal mode selector 703, and a frame memory 702 are additionally provided. Features.
【0076】以下、図8の画像予測符号化装置の構成及
び動作について説明する。Hereinafter, the configuration and operation of the image predictive coding apparatus shown in FIG. 8 will be described.
【0077】入力端子101を介して、第1の実施形態
と同様に、入力された処理対象の小領域の画像データが
加算器102に入力され、加算器102は、処理対象の
小領域の画像データを、最適モード選択器703からラ
イン121を介して入力される最適予測小領域の画像デ
ータから減算した後、減算結果の画像データを符号化器
103に出力する。符号化器103は、入力される減算
結果の画像データを圧縮符号化して出力端子106を介
して出力すると同時に、圧縮符号化された小領域の画像
データを復号化器107に出力して伸長復号化させた
後、加算器110に出力して、伸長復号化された画像デ
ータを最適予測小領域の画像データと加算する。As in the first embodiment, the input image data of the small area to be processed is input to the adder 102 via the input terminal 101, and the adder 102 outputs the image data of the small area to be processed. After subtracting the data from the optimal prediction small area image data input via the line 121 from the optimal mode selector 703, the subtracted image data is output to the encoder 103. The encoder 103 compression-encodes the input subtracted image data and outputs it through the output terminal 106. At the same time, the encoder 103 outputs the compressed and encoded small-region image data to the decoder 107 to perform decompression decoding. After the conversion, the image data is output to the adder 110, and the decompressed and decoded image data is added to the image data of the optimal prediction small area.
【0078】次いで、第1の実施形態と同様に、画面内
予測小領域の画像データを生成するために用いられる画
像データの画素値のみをラインメモリ111に格納する
一方、再生された画像の画素値をすべてフレームメモリ
702に格納する。Next, as in the first embodiment, only the pixel values of the image data used for generating the image data of the intra prediction small area are stored in the line memory 111, while the pixels of the reproduced image are stored. All values are stored in the frame memory 702.
【0079】次の画像の画像データが入力端子101を
介して入力されるときに、動き検出器700には、処理
対象の小領域の画像データと、フレームメモリ702に
格納された再生画像データとが入力され、動き検出器7
00は、ブロックマッチングなどの方法で画像の動きを
検出し、動きベクトルをライン705を介して出力す
る。出力された動きベクトルは、例えば可変長符号化し
て記憶又は伝送される(図示せず。)と同時に動き補償
器701に送られる。動き補償器701は、動きベクト
ルに基づいてフレームメモリ702の再生画像から時間
予測小領域の画像データを生成して、最適モード選択器
703に出力する。動き検出処理及び動き補償処理にお
いては、前方予測と、後方予測と、両方向予測とがあ
り、これらの方法は、例えば米国特許第5,193,0
04号明細書に開示されている。When image data of the next image is input via the input terminal 101, the motion detector 700 outputs the image data of the small area to be processed and the reproduced image data stored in the frame memory 702. Is input and the motion detector 7
00 detects motion of an image by a method such as block matching and outputs a motion vector via a line 705. The outputted motion vector is sent to the motion compensator 701 at the same time as, for example, variable-length coding, storing or transmitting (not shown). The motion compensator 701 generates image data of a small temporal prediction region from the reproduced image in the frame memory 702 based on the motion vector, and outputs the generated image data to the optimal mode selector 703. In the motion detection processing and the motion compensation processing, there are forward prediction, backward prediction, and bidirectional prediction, and these methods are described in, for example, US Pat.
No. 04.
【0080】一方、予測信号発生器112は、第1の実
施形態と同様に、画面内予測小領域の画像データを発生
して最適モード選択器703に出力すると同時に、処理
対象の小領域の画像データを最適モード選択器703に
出力する。最適モード選択器703は、画面内予測小領
域の画像データと、時間予測小領域の画像データとか
ら、処理対象の小領域の画像データに最も誤差(例え
ば、画素毎の差の絶対値の和)の小さい画像データを選
択し、選択された画像データを最適予測小領域の画像デ
ータとして加算器102に出力する。また、どの予測小
領域の画像データが選択されたかを示す識別子をライン
709を介して受信側又は再生側に出力して伝送する。On the other hand, as in the first embodiment, the prediction signal generator 112 generates the image data of the intra-screen prediction small area and outputs it to the optimal mode selector 703, and at the same time, generates the image data of the small area to be processed. The data is output to the optimal mode selector 703. The optimum mode selector 703 determines the most error (for example, the sum of the absolute values of the differences for each pixel) in the image data of the small region to be processed from the image data of the intra prediction small region and the image data of the temporal prediction small region. ) Is selected, and the selected image data is output to the adder 102 as the image data of the optimal prediction small area. An identifier indicating which predicted small area image data is selected is output to the receiving side or the reproducing side via a line 709 and transmitted.
【0081】このようにフレーム間動き補償符号化の画
像データに、画面内予測を導入することによりフレーム
間の動きベクトルを伝送する必要がないため、ビット数
をさらに削減できる。As described above, by introducing intra prediction into the image data of the inter-frame motion compensation coding, it is not necessary to transmit a motion vector between frames, so that the number of bits can be further reduced.
【0082】第1と第2の実施形態では、画面全体に有
意な画素が存在する場合である。画面内に有意であると
そうでない画素が存在する場合がある。例えば、クロマ
キーで撮影された画像では、被写体を表す画素は有意な
もので、背景となるブルーなど領域を現す画素は有意で
ない画素である。有意な物体のテキスチャー及びその形
状を符号化して伝送することにより、物体単位の再生表
示が可能である。このような入力画像に対して、予測信
号発生器112で画面内予測小領域の画像データを生成
する場合、有意でない画素値を用いることができない。In the first and second embodiments, significant pixels are present on the entire screen. There may be pixels that are not significant if they are not significant in the screen. For example, in an image captured with chroma key, pixels representing a subject are significant, and pixels representing an area such as blue as a background are insignificant pixels. By encoding and transmitting the texture of the significant object and its shape, it is possible to reproduce and display the object. When the prediction signal generator 112 generates image data of an intra prediction small area for such an input image, insignificant pixel values cannot be used.
【0083】図9乃至図11は有意な画素と有意でない
画素をもつ入力画像の模式図を示す。本実施形態におい
ては、画素が有意であるかどうかを示すには形状信号を
用いる。形状信号を所定の方法で圧縮符号化して受信側
又は再生側に伝送する。形状を符号化する方法として
は、チェーン符号化などの方法がある。圧縮された形状
信号をまた伸長再生し、再生された形状信号を用いて以
下に述べるように画面内予測信号を生成する。FIGS. 9 to 11 show schematic diagrams of an input image having significant and insignificant pixels. In the present embodiment, a shape signal is used to indicate whether a pixel is significant. The shape signal is compression-encoded by a predetermined method and transmitted to a receiving side or a reproducing side. As a method of encoding a shape, there is a method such as chain encoding. The compressed shape signal is expanded and reproduced again, and an intra prediction signal is generated using the reproduced shape signal as described below.
【0084】図9においては、形状曲線800が境界線
で、矢印の示す方向が物体の内部であって、物体の内部
の画像データは有意な画素から構成される。処理対象の
小領域802に隣接する再生された画素の中で、b4、
b5、b6、b7が有意な画素で、これらの画素値のみを
繰り返して処理対象の小領域802の画面内予測小領域
の画素値とする。In FIG. 9, the shape curve 800 is a boundary line, the direction indicated by the arrow is inside the object, and the image data inside the object is composed of significant pixels. Among the reproduced pixels adjacent to the small area 802 to be processed, b 4 ,
b 5 , b 6 , and b 7 are significant pixels, and only these pixel values are repeated to be the pixel values of the intra-screen prediction small area of the small area 802 to be processed.
【0085】また、図10においては、形状曲線804
が境界線で、矢印の示す方向が物体の内部であって、物
体の内部の画像データは有意な画素から構成される。処
理対象の小領域805に隣接する再生された画素の中
で、a4、a5、a6、a7が有意な画素であって、これら
の画素値のみを繰り返して処理対象の小領域805の画
面内予測小領域の画素値とする。In FIG. 10, the shape curve 804
Is the boundary line, the direction indicated by the arrow is inside the object, and the image data inside the object is composed of significant pixels. Among the reproduced pixels adjacent to the small area 805 to be processed, a 4 , a 5 , a 6 , and a 7 are significant pixels. Is the pixel value of the intra-screen prediction small area.
【0086】さらに、図11においては、曲線808が
境界線で、矢印の示す方向が物体の内部であって、物体
の内部の画像データは有意な画素から構成される。処理
対象の小領域810に隣接する再生された画素の中で、
a5、a6、a7、b4、b5、b6、b7が有意な画素であ
って、これらの画素値のみを繰り返して出力し、2つの
画素値が重なるところでは、それらの画素値を平均化し
た値を処理対象の小領域810の画面内予測小領域の画
素値とする。Further, in FIG. 11, the curve 808 is the boundary line, the direction indicated by the arrow is inside the object, and the image data inside the object is composed of significant pixels. Among the reproduced pixels adjacent to the small area 810 to be processed,
a 5 , a 6 , a 7 , b 4 , b 5 , b 6 , and b 7 are significant pixels, and only these pixel values are repeatedly output. When two pixel values overlap each other, A value obtained by averaging the pixel values is set as the pixel value of the intra-screen prediction small area of the small area 810 to be processed.
【0087】図11において、例えば、処理対象の小領
域810の画素z77の値はa7とb7の平均値とする。ま
た、画素値が1つもないところでは、水平方向及び垂直
方向に隣接する2つの画素値の平均値をとる。例えば、
画素z14の値はa5とb4の平均値とする。このように、
任意の形状をもつ画像の画面予測小領域の画像データを
生成する。In FIG. 11, for example, the value of the pixel z 77 in the small area 810 to be processed is an average value of a 7 and b 7 . Where there is no pixel value, the average value of two pixel values adjacent in the horizontal and vertical directions is calculated. For example,
Value of a pixel z 14 is the average value of a 5 and b 4. in this way,
Image data of a screen prediction small area of an image having an arbitrary shape is generated.
【0088】以上の実施形態においては、正方形状に分
割された小領域について説明したが、本発明はこれに限
らず、図3と同様に、画面を三角形の小領域に分割して
もよい。この場合においても、画像処理が同様に実行さ
れる。In the above embodiment, a small area divided into a square shape has been described. However, the present invention is not limited to this, and the screen may be divided into triangular small areas as in FIG. Also in this case, the image processing is performed similarly.
【0089】また、別の実施形態として、有意な画素値
だけを用いて平均値を求めて、その平均値を画面内予測
小領域の画素値としてもよい。具体的には、図9では、
画素b4、b5、b6、b7の平均値を計算し、計算された
平均値を画面内予測小領域の画素値とする。図10で
は、画素a4、a5、a6、a7の平均値を計算し、計算さ
れた平均値を画面内予測小領域の画素値とする。図11
では、画素a5、a6、a 7、b4、b5、b6、b7の平均
値を計算し、画面内予測小領域の画素値とする。As another embodiment, a significant pixel value
The average value using only
The pixel value of the small area may be used. Specifically, in FIG.
Pixel bFour, BFive, B6, B7Calculate the average of the calculated
The average value is set as the pixel value of the intra prediction small area. In FIG.
Is the pixel aFour, AFive, A6, A7Calculate the average of the
The obtained average value is used as the pixel value of the intra prediction small area. FIG.
Then, pixel aFive, A6, A 7, BFour, BFive, B6, B7The average of
The value is calculated and used as the pixel value of the intra prediction small area.
【0090】<第3の実施形態>図12は、本発明に係
る第3の実施形態である画像予測復号化装置の構成を示
すブロック図である。<Third Embodiment> FIG. 12 is a block diagram showing the configuration of an image prediction decoding apparatus according to a third embodiment of the present invention.
【0091】図12において、901は入力端子、90
2はデータ解析器、903は復号化器、906は加算
器、907は出力端子、908はコントローラ、909
は動き補償器、910は予測信号発生器、911はライ
ンメモリ、912はフレームメモリである。In FIG. 12, reference numeral 901 denotes an input terminal;
2 is a data analyzer, 903 is a decoder, 906 is an adder, 907 is an output terminal, 908 is a controller, 909
Denotes a motion compensator, 910 denotes a prediction signal generator, 911 denotes a line memory, and 912 denotes a frame memory.
【0092】以下、図12の画像予測復号化装置の構成
及び動作について説明する。図12において、圧縮符号
化された画像データはデータ解析器902に入力され、
データ解析器902は入力された画像データを解析し
て、圧縮差分小領域の画像データをライン915を介し
て復号化器903に出力し、また、制御信号をライン9
26を介してコントローラ908に出力し、さらには、
上述の動きベクトル(存在する場合のみ)を動き補償器
909に出力する。復号化器903は、逆量子化器90
4と、逆DCT変換器905を備え、圧縮された差分小
領域の画像データを伸長して、伸長差分小領域の画像デ
ータに復元する。The configuration and operation of the picture prediction decoding apparatus shown in FIG. 12 will be described below. In FIG. 12, the compression-encoded image data is input to a data analyzer 902,
The data analyzer 902 analyzes the input image data, outputs the compressed differential small area image data to the decoder 903 via the line 915, and outputs the control signal to the line 9
26 to the controller 908, and
The above-described motion vector (only when it exists) is output to the motion compensator 909. The decoder 903 includes the inverse quantizer 90
4 and an inverse DCT transformer 905, and expands the compressed image data of the small difference area to restore the image data of the expanded small difference area.
【0093】本実施形態では、圧縮された差分小領域の
画像データは、逆量子化器904により逆量子化された
後、逆量子化後の周波数領域の画像データは、逆DCT
変換器905により空間領域の画像データに変換され
る。変換後の伸長差分小領域の画像データは加算器90
6に入力され、加算器906は、入力される伸長差分小
領域の画像データを、動き補償器923又は予測信号発
生器922からスイッチ913及びライン924を介し
て送られる最適予測小領域の画像データに加算し、加算
結果の再生小領域の画像データを生成する。加算器90
6は、再生された画像データをライン917を介して出
力端子907に出力すると同時に、フレームメモリ91
2に格納する。また、画面内予測小領域の画像を生成す
るために用いられる画像データの画素値をラインメモリ
911に格納する。In this embodiment, the compressed image data of the small difference area is inversely quantized by the inverse quantizer 904, and the image data of the frequency domain after the inverse quantization is inverse DCT.
The image data is converted into image data in the spatial domain by the converter 905. The converted image data of the expanded difference small area is added to the adder 90.
6 is input to the adder 906, and the image data of the input decompressed difference area is input from the motion compensator 923 or the prediction signal generator 922 through the switch 913 and the line 924. To generate image data of a reproduction small area as a result of the addition. Adder 90
6 outputs the reproduced image data to an output terminal 907 via a line 917 and simultaneously outputs the frame memory 91
2 is stored. Further, the pixel value of the image data used for generating the image of the intra prediction small area is stored in the line memory 911.
【0094】最適予測小領域の画像データは、データ解
析器902からの制御信号に基づいてコントローラ90
8によって決定されてスイッチ913の切り換えが制御
される。画面内予測小領域の画像データがコントローラ
908によって選択される場合、スイッチ913はライ
ン924をライン922に接続し、コントローラ908
からの制御信号に応答して、予測信号発生器910はラ
インメモリ911をアクセスして、隣接する再生画素値
を画面内予測小領域の画素値として出力する。予測信号
発生器910の動作の詳細については、図4、図5及び
図6を参照して詳細上述している。また、時間予測小領
域の画像データがコントローラ908によって選択され
る場合、スイッチ913はライン924をライン923
に接続し、コントローラ908からの制御信号に応答し
て、動き補償器909はデータ解析器902からライン
925を介して送られる動きベクトルに基づいて、フレ
ームメモリ912からの画像データに対して動き補償処
理を実行することにより、時間予測小領域の画像データ
を発生して、スイッチ913及びライン924を介して
加算器906に出力する。The image data of the optimal prediction small area is supplied to the controller 90 based on a control signal from the data analyzer 902.
8, the switching of the switch 913 is controlled. When the image data of the intra prediction small area is selected by the controller 908, the switch 913 connects the line 924 to the line 922, and the controller 908
In response to the control signal from, the prediction signal generator 910 accesses the line memory 911 and outputs the adjacent reproduced pixel values as the pixel values of the intra-screen prediction small area. The details of the operation of the prediction signal generator 910 have been described in detail above with reference to FIGS. When the controller 908 selects the image data of the temporal prediction small area, the switch 913 changes the line 924 to the line 923.
, And in response to a control signal from the controller 908, the motion compensator 909 performs motion compensation on the image data from the frame memory 912 based on the motion vector sent from the data analyzer 902 via line 925. By executing the processing, the image data of the temporal prediction small area is generated and output to the adder 906 via the switch 913 and the line 924.
【0095】<第4の実施形態>図13は、本発明に係
る第4の実施形態である画像予測復号化装置の構成を示
すブロック図であり、図13において図12と同様のも
のについては同一の符号を付している。図13の画像予
測復号化装置は、図12の画像予測復号化装置の基本構
成に加えて、形状復号化器990を追加して備えたこと
を特徴とする。図13の画像予測復号化装置の基本動作
も図12と同じであるため、異なる動作だけについて以
下に詳細に説明する。<Fourth Embodiment> FIG. 13 is a block diagram showing a configuration of an image prediction decoding apparatus according to a fourth embodiment of the present invention. The same reference numerals are given. The image prediction decoding apparatus in FIG. 13 is characterized in that a shape decoder 990 is additionally provided in addition to the basic configuration of the image prediction decoding apparatus in FIG. The basic operation of the image prediction decoding apparatus in FIG. 13 is the same as that in FIG. 12, and only different operations will be described in detail below.
【0096】本実施形態においては、圧縮符号化された
画像データには、圧縮符号化された形状データが含まれ
る。データ解析器902は、この形状データを抽出して
形状復号化器990に出力し、これに応答して形状復号
化器990は形状信号を伸長再生する。再生された形状
信号は受信側又は再生側に伝送される同時に、予測信号
発生器910に入力される。予測信号発生器910は、
この再生された形状信号に基づいて、図9乃至図11を
参照して説明したように、画面内予測小領域の画像デー
タを生成する。このようにして、任意の形状をもつ画像
の画面内予測小領域の画像データを生成し、受信側又は
再生側において、画像データを復号化し、再生すること
ができる。In the present embodiment, the compression-encoded image data includes the compression-encoded shape data. The data analyzer 902 extracts this shape data and outputs it to the shape decoder 990. In response to this, the shape decoder 990 expands and reproduces the shape signal. The reproduced shape signal is input to the prediction signal generator 910 while being transmitted to the receiving side or the reproducing side. The prediction signal generator 910 includes:
Based on the reproduced shape signal, as described with reference to FIGS. 9 to 11, the image data of the intra prediction small area is generated. In this manner, image data of an intra-screen predicted small area of an image having an arbitrary shape can be generated, and the image data can be decoded and reproduced on the receiving side or the reproducing side.
【0097】第3と第4の実施形態の特徴は、ラインメ
モリ911を備えた事である。ラインメモリ911がな
ければ、画面内予測小領域の画像データを生成するため
の画素をフレームメモリ912からアクセスしなければ
ならない。隣接する小領域の画素で予測信号を生成する
ために、高速にフレームメモリを書き込み、読み出しす
ることが必要である。専用のラインメモリやバッファを
設けることにより高速なフレームメモリを用いないで高
速に画面内予測小領域の画像データを生成することが可
能になる。A feature of the third and fourth embodiments is that a line memory 911 is provided. Without the line memory 911, the pixels for generating the image data of the intra prediction small area must be accessed from the frame memory 912. In order to generate a prediction signal using pixels in adjacent small areas, it is necessary to write and read the frame memory at high speed. By providing a dedicated line memory or buffer, it becomes possible to generate the image data of the intra prediction small area at high speed without using a high-speed frame memory.
【0098】以上の実施形態において、複数の画素値の
平均値は、所定の重み付け平均値であってもよい。In the above embodiment, the average value of the plurality of pixel values may be a predetermined weighted average value.
【0099】以上説明したように、本発明の第1の実施
形態グループによれば、処理対象の小領域の画像データ
に隣接する再生された画素値を画面内予測信号の画素値
とするだけで、従来技術に比較して低い演算量で簡単に
高精度な予測信号を生成することができ、フレーム内符
号化のビット数を削減することができるという特有の効
果が得られる。また、画面内予測信号を生成するために
用いられる再生された画素値を格納するために、ライン
メモリ911を設けているので、画素値を高速にアクセ
スすることができ、画面内予測信号を高速に生成するこ
とができる。As described above, according to the first embodiment of the present invention, the reproduced pixel value adjacent to the image data of the small area to be processed is merely used as the pixel value of the intra prediction signal. In addition, it is possible to easily generate a high-precision prediction signal with a small amount of calculation compared with the related art, and to obtain a unique effect that the number of bits of intra-frame coding can be reduced. Further, since the line memory 911 is provided to store the reproduced pixel value used for generating the intra prediction signal, the pixel value can be accessed at high speed, and the intra prediction signal can be transmitted at high speed. Can be generated.
【0100】<第2の実施形態グループ>第2の実施形
態グループは、第5乃至第7の実施形態を含む。<Second Embodiment Group> The second embodiment group includes the fifth to seventh embodiments.
【0101】本発明者は、従来技術の問題点に鑑みて、
画像符号化能率が、2つの画像間又は1つの画像内の2
つのブロックの内部の間のみならず、1つの画像内の2
つのブロック間の冗長性を除去することにより、画像符
号化能率をさらに改善することを見いだした。The present inventor considered the problems of the prior art,
The image coding efficiency is 2 between two images or within one image.
Not only between the interiors of one block, but also
It has been found that removing the redundancy between two blocks further improves the image coding efficiency.
【0102】本発明者は隣接するブロックの、同じ位置
のDCT変換係数は多くの場合非常に近似していること
を発見した。特に、2つのブロックに対する原画像の組
織がよく似ている場合、又は同じ画像パターン、例えば
直線、角、その他を含んでいる場合には近似が高いこと
を発見した。同一の情報は情報理論により冗長を意味す
る。The inventor has discovered that the DCT transform coefficients at the same position in adjacent blocks are often very similar. In particular, we have found that the approximation is high if the textures of the original images for the two blocks are very similar, or if they contain the same image pattern, for example straight lines, corners, etc. The same information means redundancy by information theory.
【0103】ブロックを越えてDCT変換領域の中に存
在するこの種の冗長は、以前のブロックからの適応的イ
ントラ予測(フレーム内予測)により除去されるか、又
は大幅に減少させることができる。そして、次のVLC
エントロピー符号化処理は、予測の小さいエントロピー
によりさらに高い符号化能率を達成することができる。
このDCT変換領域の予測の結果として、VLCエント
ロピー符号化回路への冗長データの入力は、大幅に減少
されうる。そのために多くのビットの節約が期待でき
る。従って、符号化された画図データの画質は明確に改
善される。This type of redundancy that exists in the DCT transform domain beyond the block can be eliminated or significantly reduced by adaptive intra prediction (intra-frame prediction) from the previous block. And the next VLC
In the entropy coding process, higher coding efficiency can be achieved by entropy having a small prediction.
As a result of this DCT transform domain prediction, the input of redundant data to the VLC entropy coding circuit can be greatly reduced. This can save a lot of bits. Therefore, the image quality of the encoded image data is clearly improved.
【0104】本発明に係る本実施形態は、他のブロック
からのDCT変換係数を適格に予測する方式を提供す
る。この方式により隣接するブロックを越えて存在する
冗長性を除去し、量子化されたDCT変換係数のエント
ロピーをより小さくし、その結果、DCT変換係数を符
号化するための必要なビット数を減少することができ
る。The present embodiment according to the present invention provides a method for appropriately predicting DCT transform coefficients from other blocks. This scheme eliminates the redundancy that exists beyond adjacent blocks and reduces the entropy of the quantized DCT transform coefficients, thereby reducing the number of bits required to encode the DCT transform coefficients. be able to.
【0105】処理対象である現時点のカレントブロック
(以下、カレントブロックという。)のDCT変換係数
は以前の隣接するブロックの中の同じ位置のDCT変換
係数から予測できる。隣接するブロックは、処理時に既
に復号化されている。すなわち、以前に復号化された隣
接するブロックの1つの中の第1のDC係数により第1
のDC係数は予測される。また、第2の係数AC1は、
同じ復号化されたブロックの中の第2の係数AC1から
予測される。以下同様に実行される。この方法を用いる
ことにより、数個の予測されるブロックを、現時点に符
号化されているDCT変換ブロックに対して上向き左側
に、斜めに左側に、上向きに斜めに右側に、及び上向き
にある隣接する復号化されたブロックから求めることが
できる。これらの予測されたブロックに対して、実際の
エントロピー符号化が実行されることによりチェックさ
れる。そして、より少ないビット数を持つ予測ブロック
が選択された後、エントロピー符号化されて、付加的指
示ビットとともに受信側又は再生側の画像予測復号化装
置に伝送される。画像予測復号化装置には、どの隣接す
るブロックからカレントブロックが予測したかを報告す
る。The DCT transform coefficient of the current block to be processed (hereinafter referred to as the current block) can be predicted from the DCT transform coefficient at the same position in the previous adjacent block. Adjacent blocks have already been decoded during processing. That is, the first DC coefficient in one of the adjacent blocks previously decoded
Are predicted. Also, the second coefficient AC1 is
Predicted from the second coefficient AC1 in the same decoded block. Thereafter, the same operation is performed. By using this method, several predicted blocks may be shifted upward, to the left, diagonally to the left, upward, diagonally to the right, and upward to the currently encoded DCT transform block. From the decoded block. These predicted blocks are checked by performing the actual entropy coding. Then, after a prediction block having a smaller number of bits is selected, the block is entropy-encoded and transmitted to an image prediction decoding device on the reception side or the reproduction side together with additional indication bits. The image prediction decoding apparatus is notified of which adjacent block has predicted the current block.
【0106】本発明に係る本実施形態の方法は、カレン
トブロックのDCT変換係数を予測することができる。
そのDCT変換係数は他の隣接するブロックのDCT変
換係数と良好な相互関係を一般に保有している。その理
由はDCT変換は、同様のブロック画像に対しては、D
CT変換係数の同一の値又は同一の分布を与える傾向に
あるからである。The method of the present embodiment according to the present invention can predict the DCT transform coefficient of the current block.
The DCT transform coefficients generally have good correlation with the DCT transform coefficients of other adjacent blocks. The reason is that the DCT transform uses D
This is because the same value or the same distribution of the CT conversion coefficient tends to be given.
【0107】イントラフレームか、又は一時的に予測さ
れたフレームである、入力された画像データに対して通
常、まずブロックに基づいたDCT変換処理が実行され
る。カレントブロックのDCT変換係数が得られた後
に、DCT変換領域の予測処理を量子化前に、また量子
化の後に実行することができる。Normally, first, DCT transform processing based on blocks is performed on input image data, which are intra frames or temporarily predicted frames. After the DCT transform coefficients of the current block have been obtained, the prediction processing of the DCT transform domain can be executed before and after quantization.
【0108】カレントブロックのDCT変換係数は、図
15に示されるように、既に復号化されたブロックであ
って、隣接するブロック、すなわち、左上のブロックB
1、上のブロックB2、右上のブロックB3、左のブロ
ックB4から予測することができる。予測されたブロッ
クは、カレントブロックのDCT変換係数の全てを、同
じ位置にある以前の隣接するブロックのDCT変換係数
の全てから減算することにより得られる。また全てのD
CT変換係数の代わりに、部分的にDCT変換係数を減
算することにより得ることができる。As shown in FIG. 15, the DCT transform coefficients of the current block are already decoded blocks and are adjacent blocks, ie, upper left block B
1, upper block B2, upper right block B3, and left block B4. The predicted block is obtained by subtracting all of the DCT transform coefficients of the current block from all of the DCT transform coefficients of the previous adjacent block at the same position. Also all D
It can be obtained by partially subtracting the DCT transform coefficient instead of the CT transform coefficient.
【0109】異なる予測されたブロックにおける予測さ
れたDCT変換係数は、量子化の前に予測が実行される
ならば、量子化される。次いで、DCT変換係数に対し
て、エントロピー符号化処理が実行される。そのエント
ロピー符号化処理は、画像予測符号化装置のそれと同一
であり、どの予測されたブロックが下位ビットとして使
用するかチェックされる。The predicted DCT transform coefficients in different predicted blocks are quantized if the prediction is performed before quantization. Next, entropy coding processing is performed on the DCT transform coefficients. The entropy coding process is the same as that of the image predictive coding device, and it is checked which predicted block is used as the lower bit.
【0110】下位ビットを使用する予測ブロックが選択
され、選択された予測ブロックは、予測決定について画
像予測復号化装置に知らせる指示ビットとともにエント
ロピー符号化される。A prediction block using the lower bits is selected, and the selected prediction block is entropy coded together with an instruction bit that informs the picture prediction decoding apparatus of a prediction decision.
【0111】画像予測復号化装置においては、指示ビッ
トを用いて予測されたブロックが復号化される。すなわ
ち、1つのブロックに対して予測されたDCT変換係数
を逆エントロピー復号化した後に、当該ブロックに対す
るDCT変換係数は、指示ビットによって表される前に
復号化された隣接するブロックの基準DCT変換係数を
上記復号化されたDCT変換係数に加算することによっ
て得られる。最終的に、逆DCT変換処理が各々のブロ
ックに対する復元されたDCT変換係数に適用され、復
号化された画像データが得られる。In the picture prediction decoding apparatus, a block predicted using the instruction bits is decoded. That is, after inverse entropy decoding of the DCT transform coefficients predicted for one block, the DCT transform coefficients for that block are the reference DCT transform coefficients of adjacent blocks decoded before represented by the indicator bits. Is added to the decoded DCT transform coefficients. Finally, an inverse DCT transform is applied to the reconstructed DCT transform coefficients for each block, yielding decoded image data.
【0112】本発明に係る本実施形態は、通常DCT変
換のような変換によって除去される空間的な冗長性、動
き検出及び補償によってフレーム間で除去される冗長性
及びブロック内の量子化変換係数の中でエントロピー符
号化によって除去される統計的冗長性以外に、隣接する
ブロックを越えてDCT変換領域に存在する他の種類の
冗長性を減少させることができる画像符号化装置を提供
するものである。The present embodiment according to the present invention provides spatial redundancy normally removed by transforms such as DCT, redundancy removed between frames by motion detection and compensation, and quantized transform coefficients in blocks. And an image coding apparatus capable of reducing other types of redundancy existing in the DCT transform domain beyond adjacent blocks, in addition to the statistical redundancy removed by entropy coding. is there.
【0113】従来技術の画像予測符号化装置を示す図1
4からわかるように、従来の画像符号化(例えば、MP
EGにおいて)に一般的に使用されている画像予測符号
化装置は、ブロックサンプリングユニット1001、D
CT変換ユニット1004、量子化器1005及びエン
トロピー符号化器1006を備える。FIG. 1 shows a conventional image predictive coding apparatus.
As can be seen from FIG. 4, conventional image coding (eg, MP
A commonly used image predictive coding device is a block sampling unit 1001, D
It comprises a CT transform unit 1004, a quantizer 1005 and an entropy encoder 1006.
【0114】イントラフレーム符号化(フレーム内符号
化)においては、入力された画像信号に対してまず、ブ
ロックサンプリング処理が実行される。次に直接にDC
T変換処理が実行される。それに続いて、量子化処理及
びエントロピー符号化処理が実行される。一方、インタ
ーフレーム符号化(予測フレーム符号化)においては、
ブロックサンプリング処理の後に、処理対象の現時点の
フレームのが画像データに対して、動き検出ユニット1
002及び動き補償ユニット1003の処理が実行さ
れ、さらに、DCT変換処理が実行される。さらに、量
子化処理及びエントロピー符号化処理が実行される。In intra-frame coding (intra-frame coding), first, block sampling processing is performed on an input image signal. Then DC directly
T conversion processing is performed. Subsequently, a quantization process and an entropy coding process are performed. On the other hand, in inter-frame coding (predictive frame coding),
After the block sampling processing, the motion detection unit 1
002 and the processing of the motion compensation unit 1003 are executed, and further, the DCT transform processing is executed. Further, a quantization process and an entropy encoding process are performed.
【0115】ここで、エントロピー符号化ユニット10
06において、量子化値はエントロピー符号化されて符
号データが出力される。エントロピー符号化とは、よく
発生する値には短い符号語を、あまり発生しない値には
長い符号語を割り当てることにより、平均情報量である
エントロピーに近づくように符号化して、全体としての
符号量を大幅に削減する方式である。これは、可逆符号
化である。エントロピー符号化として種々の方式が提案
されているが、ベースラインシステムでは、ハフマン符
号化を用いる。量子化されたDC係数値とAC係数値で
は、ハフマン符号化の方法が異なり、すなわち、DC係
数は8×8画素ブロックの平均値を示すが、一般の画像
では隣のブロックとの平均値は似通った値を持つことが
多い。そこで、前のブロックとの差分をとった後にエン
トロピー符号化を行う。こうすると、0付近に値が集中
するので、エントロピー符号化が効果的となる。また、
AC係数については、例えばジグザグスキャンを行い2
次元データを1次元データに変換する。さらに、特に高
周波成分を含むAC係数は0が多く発生するので、0以
外の値を持つAC係数の値とその前に0がいくつあるか
(ランレングス)を組としてエントロピー符号化する。Here, the entropy coding unit 10
At 06, the quantized value is entropy coded and code data is output. Entropy coding is a method that assigns a short codeword to frequently occurring values and a long codeword to values that rarely occur, thereby encoding the data so that it approaches the average information entropy. Is a method that greatly reduces This is lossless coding. Various schemes have been proposed as entropy coding, but Huffman coding is used in the baseline system. The Huffman coding method differs between the quantized DC coefficient value and the AC coefficient value, that is, the DC coefficient indicates the average value of an 8 × 8 pixel block, but in a general image, the average value of an adjacent block is Often have similar values. Therefore, entropy coding is performed after calculating the difference from the previous block. In this case, the values are concentrated around 0, so that entropy coding is effective. Also,
For the AC coefficient, for example, a zigzag scan is performed and 2
Converts dimensional data into one-dimensional data. Furthermore, since many AC coefficients including high-frequency components generate many 0s, entropy coding is performed using a set of AC coefficient values having values other than 0 and the number of 0s before them (run length) as a set.
【0116】レートコントローラ1007は前に符号化
されたブロックに用いられたビットをフィードバック
し、量子化ユニット1005の処理を制御しかつコード
ビットレートを調整する。ここで、レートコントローラ
1007は、符号化された単位の性質や利用可能なビッ
トに基づいて各符号化されたオブジェクトデータ、各フ
レーム及び各符号化されたブロックに対して異なるビッ
ト量を割り当てるようにコードビットレートを制御す
る。また、逆量子化処理及び逆DCT変換処理はローカ
ルデコーダの一部としてのユニット1008及び100
9において実行される。ローカルデコーダで復号化され
た画像データはローカル復号化フレームメモリ1010
に記憶され、動き検出処理ために利用される。1011
は動き検出のために、前の原フレームを保存する基準フ
レームメモリである。そして、最後にビットストリーム
がエントロピー符号化ユニット1006から出力され
て、受信側又は再生側の画像予測復号化装置に送られ
る。The rate controller 1007 feeds back the bits used for the previously encoded block, controls the processing of the quantization unit 1005 and adjusts the code bit rate. Here, the rate controller 1007 assigns a different bit amount to each encoded object data, each frame and each encoded block based on the nature of the encoded unit and the available bits. Control the code bit rate. In addition, the inverse quantization process and the inverse DCT transform process are performed in units 1008 and 100
9 is performed. The image data decoded by the local decoder is stored in a local decoded frame memory 1010.
And used for motion detection processing. 1011
Is a reference frame memory for storing a previous original frame for motion detection. Then, finally, the bit stream is output from the entropy coding unit 1006 and sent to the image prediction decoding device on the receiving side or the reproducing side.
【0117】図15は、画面内予測のための適応的DC
T変換領域を説明するための画像の模式図である。FIG. 15 shows an adaptive DC for intra prediction.
It is a schematic diagram of an image for explaining a T conversion area.
【0118】図15において、DCT変換領域におい
て、8×8の4個のDCT変換ブロックがマクロブロッ
クを構成していることが示されている。ここで、B0は
8×8のDCT変換係数を有する現時点のカレントブロ
ックを示す。B2は既に復号化された上側に隣接するブ
ロックを示す。B1及びB3は既に復号化された斜め上
の隣接する2つのブロックを示す。B4は、左側に隣接
する直前のブロックを示す。DCT変換係数を持つブロ
ックは、8×8のDCT変換係数を有する、復号化され
た隣接する複数のブロックから予測できることが図15
からわかる。FIG. 15 shows that, in the DCT transform area, four 8 × 8 DCT transform blocks constitute a macro block. Here, B0 indicates the current block having the 8 × 8 DCT transform coefficient. B2 indicates the upper adjacent block that has already been decoded. B1 and B3 indicate two obliquely adjacent blocks already decoded. B4 indicates the immediately preceding block adjacent to the left side. FIG. 15 shows that a block having DCT transform coefficients can be predicted from a plurality of decoded adjacent blocks having 8 × 8 DCT transform coefficients.
Understand from.
【0119】どのブロックからカレントブロックが予測
されたかが常に違っていることに注意すべきである。従
って、最小ビット使用規則に基づく決定が実行され、そ
の決定は画像予測復号化装置側の異なるブロックに適応
的に与えられる。その決定は、指示ビットにより画像予
測復号化装置に報知される。ここで、最小ビット使用規
則は、異なる複数の予測方法の中で予測方法を決定する
ために用いられ、各予測方法が適用された後に、ブロッ
クを符号化するために用いられるビット量が計数され
る。結果として、使用される最小のビット量をもたらす
方法が、使用すべき予測方法として、選択される。It should be noted that the block from which the current block is predicted is always different. Therefore, a decision based on the minimum bit usage rule is executed, and the decision is adaptively given to different blocks on the image predictive decoding device side. The decision is notified to the image prediction decoding apparatus by the indication bit. Here, the minimum bit usage rule is used to determine a prediction method among a plurality of different prediction methods, and after each prediction method is applied, the amount of bits used to encode a block is counted. You. As a result, the method that yields the least amount of bits used is selected as the prediction method to use.
【0120】なお、DCT変換領域予測は量子化の後及
びまた前に実施されることができる。Note that DCT transform domain prediction can be performed after and / or before quantization.
【0121】<第5の実施形態>図16は、本発明に係
る第5の実施形態である画像予測符号化装置の構成を示
すブロック図である。図16の画像予測符号化装置は、
DCT変換領域予測処理は、量子化処理の後に実行され
ることを特徴としている。<Fifth Embodiment> FIG. 16 is a block diagram showing a configuration of an image predictive coding apparatus according to a fifth embodiment of the present invention. The image prediction encoding apparatus in FIG.
The DCT transform region prediction processing is characterized in that it is performed after the quantization processing.
【0122】図16において、入力された画像信号に対
してまず、ブロックサンプリングユニット1012によ
ってブロックサンプリングが実行される。そして、イン
トラフレーム符号化においては、サンプルされたブロッ
ク画像データは加算器1013の処理が実行されずに、
加算器1013を通過してDCT変換ユニット1014
に入力される。一方、予測フレーム符号化においては、
加算器1013は、サンプルされたブロック画像データ
から動き検出及び補償ユニット1025から出力される
動き検出画像データを減算して、減算結果の画像データ
をDCT変換ユニット1014に出力する。そして、D
CT変換処理がユニット1014で実行された後、量子
化処理がユニット1015で実行される。In FIG. 16, first, block sampling is performed by the block sampling unit 1012 on the input image signal. Then, in the intra-frame encoding, the sampled block image data is not subjected to the processing of the adder 1013, and
DCT transform unit 1014 through adder 1013
Is input to On the other hand, in predictive frame coding,
The adder 1013 subtracts the motion detection image data output from the motion detection and compensation unit 1025 from the sampled block image data, and outputs the subtracted image data to the DCT transform unit 1014. And D
After the CT transform processing is performed in the unit 1014, the quantization processing is performed in the unit 1015.
【0123】DCT変換領域予測処理はユニット101
7で実行され、1018は予測のために前に復号化され
たブロックを格納するためのブロックメモリである。加
算器1016は、量子化ユニット1015から出力され
る現時点のDCT変換ブロックから、DCT変換領域予
測ユニット1017から出力される復号化された隣接す
るブロックを減算する。この符号化された隣接するブロ
ックの決定はDCT変換領域予測ユニット1017にお
いて行われる。最後に、予測されたDCT変換ブロック
に対して、ユニット1020によってエントロピーVL
C符号化処理が実行され、符号化されたビットはビット
ストリームに書きこまれる。The DCT transform area prediction processing is performed in the unit 101
Performed at 7, 1018 is a block memory for storing previously decoded blocks for prediction. The adder 1016 subtracts the decoded adjacent block output from the DCT transform domain prediction unit 1017 from the current DCT transform block output from the quantization unit 1015. The determination of the encoded adjacent block is performed in the DCT transform domain prediction unit 1017. Finally, for the predicted DCT transform block, the entropy VL
The C encoding process is performed, and the encoded bits are written to a bit stream.
【0124】加算器1019は、予測のために用いられ
る前の隣接するブロックを、予測ブロックに加算するこ
とにより、現時点のDCT変換ブロックを復元する。次
いで、復元されたDCT変換ブロックに対して、逆量子
化処理及び逆DCT変換処理はそれぞれユニット102
1及び1022において実行される。局所的に復号化さ
れて逆DCT変換ユニット1022から出力されるブロ
ックの画像データは加算器1023に入力される。加算
器1023は、復元されたブロックの画像データに前の
フレームの画像データを加算することによって、再構築
された画像データを得てフレームメモリ1024に記憶
される。動き検出及び補償処理はユニット1025で実
行される。動き検出及び補償処理のための前のフレーム
を格納するためにフレームメモリ1024が用いられ
る。The adder 1019 restores the current DCT transform block by adding an adjacent block before being used for prediction to the prediction block. Next, for the reconstructed DCT transform block, inverse quantization and inverse DCT
1 and 1022. The image data of the block locally decoded and output from the inverse DCT transform unit 1022 is input to the adder 1023. The adder 1023 obtains reconstructed image data by adding the image data of the previous frame to the image data of the restored block, and stores the reconstructed image data in the frame memory 1024. Motion detection and compensation processing is performed in unit 1025. A frame memory 1024 is used to store previous frames for motion detection and compensation processing.
【0125】<第6の実施形態>図17は、本発明に係
る第6の実施形態である画像予測符号化装置の構成を示
すブロック図である。図17の画像予測符号化装置は、
量子化処理の前に、DCT変換領域予測処理が実行され
たことを特徴としている。入力された画像信号に対し
て、ユニット1026においてブロックサンプリング処
理が実行される。次いで、加算器1027は予測フレー
ム符号化のために減算を行い、減算結果の画像データ
は、DCT変換ユニット1028、加算器1029及び
量子化ユニット1030を介して、エントロピーVLC
符号化ユニット1034及び逆量子化ユニット1033
に出力される。<Sixth Embodiment> FIG. 17 is a block diagram showing a configuration of an image predictive coding apparatus according to a sixth embodiment of the present invention. The image prediction encoding apparatus in FIG.
It is characterized in that a DCT transform region prediction process is performed before the quantization process. The unit 1026 performs block sampling processing on the input image signal. Next, the adder 1027 performs a subtraction for predictive frame encoding, and the image data resulting from the subtraction is passed through the DCT transform unit 1028, the adder 1029, and the quantization unit 1030 to obtain the entropy VLC.
Encoding unit 1034 and inverse quantization unit 1033
Is output to
【0126】ブロックメモリ1032は、ユニット10
31のDCT変換領域予測処理のために前のブロックの
画像データを格納している。DCT変換ユニット102
8から出力される現時点のDCT変換ブロックの画像デ
ータは、加算器1029によって、最小ビット使用規則
に従ってDCT変換領域予測ユニット1031で選択さ
れた前のDCT変換ブロックから減算される。減算結果
のDCT変換ブロックの画像データは、量子化ユニット
1030によって量子化された後、逆量子化ユニット1
033及びエントロピーVLC符号化ユニット1034
に出力される。逆量子化ユニット1033は、入力され
る量子化されたDCT変換ブロックの画像データを逆量
子化することにより復元して加算器1035に出力す
る。加算器1035は、復元されたDCT変換ブロック
の画像データを、DCT変換領域予測ユニット1031
からの前のDCT変換ブロックの画像データを加算し
て、加算結果の前のブロックの画像データをブロックメ
モリ1032に格納するとともに、逆DCT変換ユニッ
ト1036に出力する。The block memory 1032 includes the unit 10
The image data of the previous block is stored for the DCT transform area prediction processing of No. 31. DCT conversion unit 102
The image data of the current DCT transform block output from 8 is subtracted by the adder 1029 from the previous DCT transform block selected by the DCT transform area prediction unit 1031 according to the rule of using the minimum bit. The image data of the DCT transform block as a result of the subtraction is quantized by the quantization unit 1030, and then the inverse quantization unit 1
033 and entropy VLC encoding unit 1034
Is output to The inverse quantization unit 1033 restores the input image data of the quantized DCT transform block by inverse quantization, and outputs the restored image data to the adder 1035. The adder 1035 converts the restored image data of the DCT transform block into a DCT transform area prediction unit 1031.
, The image data of the block before the DCT transform block is added, and the image data of the block before the sum is stored in the block memory 1032 and output to the inverse DCT transform unit 1036.
【0127】逆DCT変換ユニット1036は、加算器
1035から入力される前のブロックの画像データに対
して逆DCT変換処理を実行して、変換処理後の復元さ
れた画像データを加算器1037に出力する。加算器1
037は、逆DCT変換ユニット1036から出力され
る復元された画像データに動き検出及び補償ユニット1
025から出力される前のフレームの画像データを加算
して、加算結果の画像データをフレームメモリ1038
に一時的に記憶した後、動き検出及び補償ユニット10
25に出力される。The inverse DCT transform unit 1036 performs an inverse DCT transform process on the image data of the block before being input from the adder 1035, and outputs the restored image data after the transform process to the adder 1037. I do. Adder 1
Reference numeral 037 denotes a motion detection and compensation unit 1 for the restored image data output from the inverse DCT transform unit 1036.
025, and adds the image data of the frame before output from the frame memory 1038.
After being temporarily stored in the motion detection and compensation unit 10
25.
【0128】<B1.モード決定の一般的な説明>図1
8は、図16及び図17のDCT変換領域予測回路10
17,1031の構成を示すブロック図である。<B1. General description of mode determination> FIG.
8 is a DCT transform area prediction circuit 10 shown in FIGS.
It is a block diagram which shows the structure of 17, 1031.
【0129】図18において、1040は予測のために
前の隣接するブロックの画像データを格納するブロック
メモリである。処理対象の現時点のカレントブロックは
ユニット1041に入力され、ユニット1041は、ブ
ロックメモリ1040で格納されている前の隣接するD
CT変換ブロックから入力されたカレントブロックの画
像データを減算して、次の4種類の予測DCT変換ブロ
ックの画像データが得られる。 (a)1042で示されるNo−Predブロック、
(b)1043で示されるUp−Predブロック、
(c)1044で示されるLeft−Predブロッ
ク、(d)1045で示されるOther−Predブ
ロック。In FIG. 18, reference numeral 1040 denotes a block memory for storing image data of a previous adjacent block for prediction. The current block to be processed is input to the unit 1041, and the unit 1041 reads the previous adjacent D stored in the block memory 1040.
By subtracting the image data of the current block input from the CT transform block, the following four types of image data of the predictive DCT transform block are obtained. (A) No-Pred block indicated by 1042,
(B) Up-Pred block indicated by 1043,
(C) Left-Pred block indicated by 1044, and (d) Other-Pred block indicated by 1045.
【0130】ここで、2ビットを用いて上記4つの種類
のブロックを示す。すなわち、例えば“00”はNo−
Predブロックを示し、“01”はUp−Predブ
ロックを示し、“10”はLeft−Predを示し、
“11”はOther−Predブロックを示す。Here, the above four types of blocks are shown using two bits. That is, for example, "00" is No-
Pred block, “01” indicates Up-Pred block, “10” indicates Left-Pred,
“11” indicates the Other-Pred block.
【0131】No−Predブロックは、予測無しのと
きの、現時点のDCT変換ブロックの画像データ自身で
ある。Up−Predブロックは、予測に用いられたブ
ロックが上方に隣接するDCT変換ブロックB2である
場合に得られた予測ブロックの画像データを示す。Le
ft−Predブロックは予測に用いられたブロックが
左側に隣接するDCT変換ブロックB4である場合に得
られた予測ブロックの画像データを示す。Other−
Predブロックは予測がDC係数に対してのみ行われ
たときの予測ブロックの画像データを示す。Other
−Predの場合において、2種類の予測方法が存在す
る。すなわち、Up−DC−Pred(1046)は上
方に隣接するDCT変換ブロックB2に基づいてDC係
数のみに対して予測が行われた場合に得られた予測ブロ
ックの画像データを示す。Left−DC−Pred
(1047)は左側に隣接するDCT変換ブロックB4
に基づいてDC係数のみに対して予測が行われた場合に
得られた予測ブロックの画像データを示す。この2つの
ケースに対して、もう1つビットが指示のために必要と
なる。例えば“0”はUp−DC−Pred(104
6)を示し、“1”はLeft−DC−Pred(10
47)を示すように使用される。The No-Pred block is the current image data of the DCT transform block at the time of no prediction. The Up-Pred block indicates the image data of the prediction block obtained when the block used for prediction is the DCT transform block B2 that is adjacent above. Le
The ft-Pred block indicates image data of a prediction block obtained when the block used for prediction is the DCT transform block B4 adjacent on the left. Other-
The Pred block indicates image data of the prediction block when the prediction is performed only on the DC coefficient. Other
In the case of -Pred, there are two types of prediction methods. That is, Up-DC-Pred (1046) indicates image data of a prediction block obtained when prediction is performed only on the DC coefficient based on the DCT transform block B2 adjacent above. Left-DC-Pred
(1047) is the DCT transform block B4 adjacent to the left side
5 shows image data of a prediction block obtained when prediction is performed only on the DC coefficient based on. For these two cases, another bit is needed for the indication. For example, “0” indicates Up-DC-Pred (104
6), and “1” indicates Left-DC-Pred (10
47).
【0132】斜め方向に隣接するブロックB1、B3に
基づいた予測は可能ではあるがその予測結果は上方や左
側のブロックに予測によるもののようによくないので、
本実施形態では用いていない。Although the prediction based on the blocks B1 and B3 adjacent in the oblique direction is possible, the prediction result is not as good as the prediction based on the upper and left blocks.
Not used in the present embodiment.
【0133】全ての予測されたブロックに対して、ユニ
ット1048によって実際のエントロピー符号化処理が
実行されることにより検査され、チェックされる。異な
る予測されたブロックに使用されたビットはユニット1
049において比較される。最後に、ユニット1050
は最小ビット使用規則に基づいて予測されたDCT変換
ブロックを決定し、指示ビットとともに予測されたDC
T変換ブロックを出力する。すなわち、ビット数が最小
の予測されたDCT変換ブロックを選択する。All the predicted blocks are checked and checked by performing the actual entropy coding process by the unit 1048. The bits used for the different predicted blocks are unit 1
049. Finally, unit 1050
Determines the predicted DCT transform block based on the least bit usage rule, and
Output the T conversion block. That is, a predicted DCT transform block having the minimum number of bits is selected.
【0134】<B2.モード決定の実施>図19は、図
18のDCT変換領域予測回路におけるDC/AC予測
の符号化方法の一例を示す画像の模式図である。<B2. Implementation of Mode Determination> FIG. 19 is a schematic diagram of an image showing an example of a coding method of DC / AC prediction in the DCT transform domain prediction circuit of FIG.
【0135】図19において、先に定義されたDC/A
C予測された画像データの部分集合が実際の使用に対し
て図示されている。カレントブロック1101はカレン
トマクロブロックの上部左側の8×8ブロックであり、
カレントブロック1102はカレントマクロブロックの
上部右側の8×8ブロックである。A及びBは、カレン
トブロック1101に隣接する8×8ブロックである。
カレントブロック1101の強調された上部行及び左列
はそれぞれ、隣接ブロックであるA及びBの同一場所か
ら予測される。つまり、カレントブロック1101の最
上行はその上のブロックAの最上行から予測され、カレ
ントブロック1101の左列はその左のブロックBの左
列から予測される。同様の手順で、カレントブロック1
102はその上のブロックD及びその左のカレントブロ
ック1から予測される。Referring to FIG. 19, the DC / A
A subset of the C-predicted image data is shown for actual use. The current block 1101 is an upper left 8 × 8 block of the current macro block,
The current block 1102 is an upper right 8 × 8 block of the current macro block. A and B are 8 × 8 blocks adjacent to the current block 1101.
The highlighted top row and left column of the current block 1101 are predicted from the same locations of adjacent blocks A and B, respectively. That is, the top row of the current block 1101 is predicted from the top row of the block A above it, and the left column of the current block 1101 is predicted from the left column of the left block B. By the same procedure, the current block 1
102 is predicted from the block D above and the current block 1 on the left.
【0136】C(u,v)を符号化すべきブロックと
し、Ei(u,v)をモードiの場合の予測誤差であっ
て、A(u,v)及び/又はB(u,v)の各ブロック
から予測値を減算して求めたものであるとする。実際の
実施においては、節B1において前述した最も頻度が多
い次の3つのモードのみが使用される。Let C (u, v) be the block to be coded and let E i (u, v) be the prediction error in mode i, where A (u, v) and / or B (u, v) Is obtained by subtracting the predicted value from each block of. In a practical implementation, only the following three most frequent modes mentioned in section B1 are used.
【0137】(a)モード0:DC予測のみ(A) Mode 0: DC prediction only
【0138】[0138]
【数1】E0(0,0)=C(0,0)−(A(0,
0)+B(0,0))/2, E0(u,v)=C(u,v), u≠0;v≠0;u=0,…,7;v=0,…,7E 0 (0,0) = C (0,0) − (A (0,0)
0) + B (0,0)) / 2, E 0 (u, v) = C (u, v), u ≠ 0; v ≠ 0; u = 0,..., 7; v = 0,.
【0139】(b)モード1:上側ブロックからのDC
/AC予測(B) Mode 1: DC from upper block
/ AC prediction
【0140】[0140]
【数2】E1(0,v)=C(0,v)−A(0,
v),v=0,…,7, E1(u,v)=C(u,v), u=1,…,7;v=0,…,7## EQU2 ## E 1 (0, v) = C (0, v) −A (0, v)
v), v = 0,..., 7, E 1 (u, v) = C (u, v), u = 1,.
【0141】(c)モード2:左側ブロックからのDC
/AC予測(C) Mode 2: DC from left block
/ AC prediction
【数3】E2(u,0)=C(u,0)−B(u,
0),u=0,…,7, E2(u,v)=C(u,v), u=0,…,7;v=1,…,7.## EQU3 ## E 2 (u, 0) = C (u, 0) -B (u,
0), u = 0,..., 7, E 2 (u, v) = C (u, v), u = 0,.
【0142】モードの選択は、マクロブロックにおける
4つの輝度信号のブロックに対して予測された誤差の絶
対値の和、SADmodeiを計算して、そのうちの最小値
を有するモードを選択することにより行われる。The mode is selected by calculating the sum of the absolute values of the errors predicted for the four luminance signal blocks in the macroblock, SAD modei , and selecting the mode having the minimum value. Will be
【0143】[0143]
【数4】 i=0,…,2;b=0,…,3;u,v=1,…,7(Equation 4) i = 0, ..., 2; b = 0, ..., 3; u, v = 1, ..., 7
【0144】モードの決定は、異なる符号化ビットレー
トを目標とするアプリケーションの違いに依存して、ブ
ロックベース及びマクロブロックベースの両方で実行す
ることができる。モードは、次の表1の可変長コードを
使用して符号化される。The mode determination can be performed both on a block basis and on a macroblock basis, depending on the differences in the applications targeting different coding bit rates. The modes are encoded using the variable length codes in Table 1 below.
【0145】[0145]
【表1】 [Table 1]
【0146】量子化後にDC/AC予測を実行する場
合、先行する水平方向の隣接ブロック又は垂直方向の隣
接ブロックでは通常、使用する量子化のステップが異な
るため、DC/AC予測を正確に行うためには、量子化
されたDCT変換係数をスケーリングするために幾つか
の種類の重み係数が必要とされる。In the case where DC / AC prediction is performed after quantization, the preceding horizontal neighboring block or vertical neighboring block usually uses a different quantization step, so that accurate DC / AC prediction is performed. Requires several types of weighting factors to scale the quantized DCT transform coefficients.
【0147】QacAをブロックA(図19参照。)の
量子化されたDCT変換係数とし、QacBをブロック
B(図19参照。)の量子化されたDCT変換係数とす
る。QstepAをブロックAの量子化に使用される量
子化ステップとすると、QstepBはブロックAの量
子化に使用する量子化ステップであり、QstepCは
カレントブロックCの量子化に使用すべき量子化ステッ
プであり、従ってスケーリング方程式は以下の通りであ
る。Let QacA be the quantized DCT transform coefficient of block A (see FIG. 19), and let QacB be the quantized DCT transform coefficient of block B (see FIG. 19). Assuming that QstepA is a quantization step used for quantization of block A, QstepB is a quantization step used for quantization of block A, and QstepC is a quantization step to be used for quantization of current block C. , And thus the scaling equation is:
【0148】[0148]
【数5】Q’acA=(QacA×QstepA)/Q
stepC## EQU5 ## Q'acA = (QacA × QstepA) / Q
stepC
【数6】Q’acB=(QacB×QstepB)/Q
stepC## EQU6 ## Q'acB = (QacB × QstepB) / Q
stepC
【0149】ここで、Q’acAはブロックAからのD
CT変換係数であり、カレントブロックCの最上行の予
測に使用される。また、Q’acBはブロックBからの
DCT変換係数であり、カレントブロックCの左列の予
測に使用される。Here, Q'acA is the value of D from block A.
It is a CT conversion coefficient and is used for prediction of the top row of the current block C. Q′acB is a DCT transform coefficient from block B, and is used for prediction of the left column of current block C.
【0150】<第7の実施形態>図20は、本発明に係
る第7の実施形態である画像予測復号化装置の構成を示
すブロック図である。<Seventh Embodiment> FIG. 20 is a block diagram showing a configuration of an image prediction decoding apparatus according to a seventh embodiment of the present invention.
【0151】図20において、画像予測符号化装置から
のビットストリームは、エントロピーVLD復号化ユニ
ット1051に入力され、可変長復号化される。復号化
された画像データは、加算器1052によって、DCT
変換領域予測ユニット1053からの前の隣接するDC
T変換ブロックの画像データと加算することにより、D
CT変換ブロックの画像データが復元される。前に隣接
するDCT変換ブロックは、どのブロックであるかは、
ビットストリームからとり出された指示ビットによって
知らされ、ユニット1053において予測のために使用
される。1054は、予測のために用いる隣接するDC
T変換ブロックを格納するためのブロックメモリであ
る。加算器1052から得られる復元されたDCT変換
ブロックは逆DCT変換ユニット1055に出力され
る。逆DCT変換ユニット1055は入力されたDCT
変換ブロックに対して逆DCT変換処理を実行すること
により復元されたDCT変換係数の画像データを生成し
て、加算器1056に出力する。加算器1056は、逆
DCT変換ユニット1055からの復元された画像デー
タを、動き検出及び補償ユニット1057からの前のフ
レームの画像データと加算することにより、動き検出及
び補償されかつ復号化された画像データを生成して出力
する。当該復号化された画像データは、動き検出及び補
償のために前のフレームの画像データを格納するフレー
ムメモリに一時的に格納した後、動き検出及び補償ユニ
ット1057に出力される。動き検出及び補償ユニット
1057は、入力される画像データに対して、動き検出
及び補償処理が実行される。In FIG. 20, the bit stream from the image predictive coding apparatus is input to an entropy VLD decoding unit 1051 and is subjected to variable length decoding. The decoded image data is subjected to DCT by an adder 1052.
Previous adjacent DC from transform domain prediction unit 1053
By adding to the image data of the T conversion block, D
The image data of the CT conversion block is restored. Which block is the DCT transform block adjacent before is
It is signaled by indication bits taken from the bitstream and used in unit 1053 for prediction. 1054 is an adjacent DC used for prediction.
This is a block memory for storing the T conversion block. The restored DCT transform block obtained from the adder 1052 is output to the inverse DCT transform unit 1055. The inverse DCT transform unit 1055 receives the input DCT
By performing an inverse DCT transform process on the transform block, image data of DCT transform coefficients restored is generated and output to the adder 1056. An adder 1056 adds the reconstructed image data from the inverse DCT transform unit 1055 to the image data of the previous frame from the motion detection and compensation unit 1057 to obtain a motion-detected and compensated and decoded image. Generate and output data. The decoded image data is temporarily stored in a frame memory for storing image data of a previous frame for motion detection and compensation, and then output to the motion detection and compensation unit 1057. The motion detection and compensation unit 1057 performs a motion detection and compensation process on the input image data.
【0152】さらに、加算器1056から出力される復
号化された画像データは、図16及び図17のブロック
サンプリングユニット1012,1026の処理に対応
する逆の復元処理により、元の画像データが復元され
る。Further, the decoded image data output from the adder 1056 is restored to the original image data by the inverse restoration processing corresponding to the processing of the block sampling units 1012 and 1026 in FIGS. You.
【0153】さらに、1059は逆量子化ユニットであ
り、図17に示すように量子化処理の前にDCT変換領
域予測処理が行われる場合は、当該逆量子化ユニット1
059は図20における1059aの位置に挿入される
一方、図16に示すように量子化処理の後にDCT変換
領域予測処理が行われる場合は、当該逆量子化ユニット
1059は図20における1059bの位置に挿入され
る。Further, reference numeral 1059 denotes an inverse quantization unit. When the DCT transform area prediction processing is performed before the quantization processing as shown in FIG.
20 is inserted at the position of 1059a in FIG. 20, while when the DCT transform area prediction processing is performed after the quantization processing as shown in FIG. 16, the inverse quantization unit 1059 is placed at the position of 1059b in FIG. Inserted.
【0154】図21は、図20の画像予測復号化装置に
おけるDC/AC予測の復号化方法を示すフローチャー
トである。すなわち、図21では、DC/AC予測モー
ドを取得し、隣接するDC/AC予測値からDCT変換
係数を再構成するためのビットストリームの復号化の詳
細が図示されている。FIG. 21 is a flowchart showing a decoding method of DC / AC prediction in the picture prediction decoding apparatus of FIG. That is, FIG. 21 illustrates details of decoding of a bitstream for acquiring a DC / AC prediction mode and reconstructing DCT transform coefficients from adjacent DC / AC prediction values.
【0155】まず、ステップ1059において、入力さ
れるビットストリームから指示ビットを復号化し、ステ
ップ1060で、指示ビットのフラグがチェックされ、
それが「0」であれば、ステップ1061で上側ブロッ
ク及び左側ブロックの画像データの平均値からDC値を
計算してステップ1063に進む。ステップ1060で
NOであればステップ1062に進み、ステップ106
2でチェックされた指示フラグが「10」であれば、ス
テップ1063で左側ブロックの左列の画像データが抽
出され、ステップ1065に進む。ステップ1062で
NOであればステップ1064に進み、ステップ106
4でチェックされた表示フラグが「11」であれば、ス
テップ1065で上側ブロックの最上行の画像データが
抽出され、ステップ1066に進む。最後に、ステップ
1066では、ステップ1061、1063、又は10
65で取得又は抽出されたDCT変換係数がカレントブ
ロックの対応するDCT変換係数に加算される。First, in step 1059, the instruction bit is decoded from the input bit stream, and in step 1060, the flag of the instruction bit is checked.
If it is "0", in step 1061, a DC value is calculated from the average value of the image data of the upper block and the left block, and the flow advances to step 1063. If NO in step 1060, the process proceeds to step 1062,
If the instruction flag checked in step 2 is "10", the image data of the left column of the left block is extracted in step 1063, and the process proceeds to step 1065. If NO in step 1062, the process proceeds to step 1064, where step 106
If the display flag checked in 4 is “11”, the image data of the top row of the upper block is extracted in step 1065, and the process proceeds to step 1066. Finally, in step 1066, steps 1061, 1063, or 10
The DCT transform coefficients obtained or extracted at 65 are added to the corresponding DCT transform coefficients of the current block.
【0156】さらに、以下、本実施形態グループの変形
例について説明する。Further, a modified example of this embodiment group will be described below.
【0157】(a)上記ブロックサンプリングユニット
1012,1026は、4つのブロックのグループの中
の二次元配列の画素は、第1のブロックでは奇数番目の
行にある奇数番目の画素から成り、第2のブロックでは
奇数番目の行にある偶数番目の画素から成り、第3ブロ
ックでは偶数番目の行にある奇数場番目の画素から成
り、第4ブロックでは偶数番目の行にある偶数番目の画
素から成るように、画素を交互に差し挟むインターリー
ブ処理を含んでもよい。 (b)上記予測ブロックは、上記ブロックメモリに格納
され、前に復元されたブロックであって、符号化された
カレントブロックに隣接するように位置されたブロック
から選択され、ブロック中の全ての変換係数が選択され
てもよい。 (c)上記予測ブロックは、上記ブロックメモリに格納
され、前に復元されたブロックであって、符号化された
カレントブロックに隣接するように位置されたブロック
から選択され、あらかじめ定められたサブセットがブロ
ックの変換係数として選択されてもよい。(A) In the block sampling units 1012 and 1026, the pixels in the two-dimensional array in the group of four blocks are composed of odd-numbered pixels in odd-numbered rows in the first block, and Block consists of even-numbered pixels in odd-numbered rows, block 3 consists of odd-field pixels in even-numbered rows, and block 4 consists of even-numbered pixels in even-numbered rows. As described above, an interleaving process for alternately inserting pixels may be included. (B) the prediction block is selected from blocks previously stored in the block memory and previously reconstructed and located adjacent to the current block being coded, and all transforms in the block are selected. A coefficient may be selected. (C) the prediction block is selected from a block stored in the block memory and previously restored, the block being positioned adjacent to the current coded block, and a predetermined subset is selected; It may be selected as the transform coefficient of the block.
【0158】(d)上記予測ブロックは、上記ブロック
メモリに格納され、前に復元されたブロックであって、
符号化されたカレントブロックの上方及び左側に隣接す
るよう位置されたブロックから選択され、当該ブロック
の最上行、及び当該ブロックの最左列の変換係数のみが
使用され、残りの変換係数はゼロにセットされてもよ
い。 (e)上記予測ブロックは、上記ブロックメモリに格納
され、前に復元されたブロックであって、符号化された
カレントブロックの近傍に位置されたブロックから選択
され、各ブロックの変換係数は異なる重み付け関数で重
み付けされてもよい。 (f)上記予測ブロックは、上記ブロックメモリに格納
され、前に復元されたブロックであって、符号化された
カレントブロックの近傍に位置されたブロックから選択
され、各ブロックの変換係数に対して変換演算が実行さ
れてもよい。(D) The prediction block is a block stored in the block memory and previously restored,
Selected from the blocks located adjacent and above and to the left of the current block being coded, only the transform coefficients in the top row of the block and the leftmost column of the block are used, and the remaining transform coefficients are zero. May be set. (E) The prediction block is selected from blocks previously stored in the block memory and previously restored and located in the vicinity of the coded current block, and the transform coefficients of each block are weighted differently. It may be weighted by a function. (F) The prediction block is selected from blocks previously stored in the block memory and previously restored and located in the vicinity of the encoded current block. A conversion operation may be performed.
【0159】(g)上記予測ブロックは、上記ブロック
メモリに格納され、前に復元されたブロックであって、
符号化されたカレントブロックの近傍に位置された複数
のブロックの重み付け平均化されてもよい。 (h)復号化された画像データに基づいて、インターリ
ーブされた4個のブロックからなる複数のグループから
二次元配列の画素を形成して元の画像データを復元する
ときに、奇数番目の行にある奇数番目の画素は全て第1
のブロックから求め、奇数番目の行にある偶数番目の画
素は第2のブロックから求め、偶数番目の行にある奇数
番目の画素は第3ブロックから求め、偶数番目の行にあ
る偶数番目の画素は第4ブロックから求めるように、上
記復号化された画像データに対して逆インターリーブ処
理を実行してもよい。(G) The prediction block is a block stored in the block memory and previously restored,
Weighted averaging of a plurality of blocks located near the encoded current block may be performed. (H) When restoring the original image data by forming a two-dimensional array of pixels from a plurality of groups of four interleaved blocks based on the decoded image data, the odd-numbered rows All the odd-numbered pixels are the first
, The even-numbered pixels in the odd-numbered rows are obtained from the second block, the odd-numbered pixels in the even-numbered rows are obtained from the third block, and the even-numbered pixels in the even-numbered rows are obtained. May perform deinterleaving on the decoded image data as determined from the fourth block.
【0160】以上説明したように、本発明に係る本実施
形態グループによれば、隣接するブロック間におけるD
CT変換領域の冗長性を除去又は減少するために大いに
効果があり、その結果、使用ビット数を減少させ、最終
的に符号化効率を大いに改善することができる。詳細な
画像予測符号化装置の例として図18を参照すると、予
測処理は、好ましくは、上側又は左側の隣接するブロッ
クを使用することによってのみ実行される。As described above, according to the present embodiment group according to the present invention, the D
It is very effective to remove or reduce the redundancy of the CT transform domain, so that the number of bits used can be reduced, and finally the coding efficiency can be greatly improved. Referring to FIG. 18 as an example of a detailed image prediction encoding device, the prediction process is preferably performed only by using the upper or left adjacent block.
【0161】QCIFを含むシーケンスに対しては、上
位ビットレート符号化に対して6.4%のビットを節約
することができ、下位ビットレート符号化に対して20
%のビットを節約することができる。また、例えば、ア
キヨ(Akiyo)、マザー(Mother)、及びドウター(Dau
ghter)などのテストシーケンスなどの他のQCIFシ
ーケンスに対して、約10%のビットを節約することが
できる。さらにCIF及びCCIRのシーケンスに対し
ては、より多くのビット節約が可能である。For sequences containing QCIF, 6.4% bits can be saved for higher bit rate coding and 20% for lower bit rate coding.
% Bits can be saved. Also, for example, Akiyo, Mother, and Dauter
For example, about 10% of bits can be saved with respect to other QCIF sequences such as test sequences such as ghter). In addition, more bit savings are possible for CIF and CCIR sequences.
【0162】以上説明したように本発明に係る第2の実
施形態グループによれば、現時点の符号化効率を増大さ
せる新しい画像予測符号化装置及び画像予測復号化装置
を提供することができる。当該装置では、符号化効率を
上げるためには複雑な手段は必要とせず、その回路構成
は、非常に簡単で容易に形成できる。As described above, according to the second embodiment of the present invention, it is possible to provide a new image predictive coding device and a new image predictive decoding device which increase the current coding efficiency. In this device, no complicated means is required to increase the coding efficiency, and the circuit configuration can be formed very simply and easily.
【0163】<第3の実施形態グループ>第3の実施形
態グループは、第8の実施形態を含む。<Third Embodiment Group> The third embodiment group includes the eighth embodiment.
【0164】本発明者は、従来技術の問題点に鑑みて、
画像符号化効率は、2つの画像間又は1つの画像内のブ
ロックの内部における冗長性ばかりでなく、画像内のブ
ロック間の冗長性を削減するとともに、ブロックのスキ
ャンパターンを適切にすることによりさらに冗長性を改
善することを考えた。In view of the problems of the prior art, the present inventor
Image coding efficiency is further improved by reducing redundancy between blocks in an image, as well as between two images or within a block within one image, and by optimizing the scan pattern of the blocks. I thought about improving the redundancy.
【0165】同じ位置にあっても隣接するブロックの中
のDCT変換係数は多くの場合非常によく似ていること
が見出されている。この2つのブロックに対する原画像
の特質が非常によく似ている場合、もしくは水平又は垂
直ライン、対角線その他の画像パターンが同じものを含
んでいる場合、上記のことは正しいといえる。情報理論
の観点から同じ情報は冗長性を意味することになる。It has been found that the DCT transform coefficients in adjacent blocks, even at the same location, are often very similar. This is true if the characteristics of the original images for the two blocks are very similar, or if the horizontal or vertical lines, diagonals and other image patterns contain the same. From an information theory perspective, the same information means redundancy.
【0166】ブロックを越えてDCT変換領域の中に存
在する冗長性は、以前のブロックの適応性予測により除
去されるか又は削減されることができる。このことはV
LCエントロピー符号化は予測誤差信号のより小さいエ
ントロピーのためのより高い符号化効率を達成できると
いう結果になる。Redundancy that exists in the DCT transform domain beyond blocks can be eliminated or reduced by adaptive prediction of previous blocks. This is V
LC entropy coding results in higher coding efficiency for less entropy of the prediction error signal.
【0167】同時に、水平及び垂直の構造は、最左側の
列及び最上行の変換ブロックに、重要なDCT変換係数
が集中するという結果になることは公知である。従っ
て、本発明に係る実施形態は、予測モードに基づいて、
スキャンを適応化することにより係数のスキャンにおけ
る上述の問題点を解決することができる。At the same time, it is well known that horizontal and vertical structures result in significant DCT transform coefficients being concentrated in the leftmost column and topmost transform block. Therefore, the embodiment according to the present invention, based on the prediction mode,
By adapting the scan, the above-mentioned problems in coefficient scanning can be solved.
【0168】本発明に係る実施形態は、他のブロックか
らカレントブロックのDCT変換係数を適応的に予測
し、その結果隣接するブロック間の冗長性を除去する方
法を提供する。予測誤差の情報は量子化DCT変換係数
のエントロピーをより小さくする予測モードにスキャン
方法を適応化することによりさらに縮少される。その結
果、DCT変換係数を符号化するためのビットの数を削
減できる。Embodiments according to the present invention provide a method for adaptively predicting the DCT transform coefficients of the current block from other blocks, and thereby removing redundancy between adjacent blocks. The prediction error information is further reduced by adapting the scanning method to a prediction mode that makes the entropy of the quantized DCT transform coefficients smaller. As a result, the number of bits for encoding DCT transform coefficients can be reduced.
【0169】この問題点を解決するために、予測モード
の決定を実行する方法が各予測及びスキャン方法により
発生される実際のビットレートに基づいて得られる。To solve this problem, a method for performing the prediction mode determination is obtained based on the actual bit rate generated by each prediction and scanning method.
【0170】本発明に係る実施形態は、現在のカレント
ブロックのDCT変換係数を予測する方法を提供するも
のである。DCT変換は同じ値、又は同じDCT変換係
数の分布を同じブロックの画像データに与える傾向があ
るので、カレントブロックは通常他の隣接するブロック
の中のDCT変換係数と良好な相互関係を保持してい
る。The embodiment according to the present invention provides a method for estimating the DCT transform coefficient of the current current block. Since the DCT transform tends to give the same value, or the same distribution of DCT transform coefficients, to the same block of image data, the current block usually maintains good correlation with the DCT transform coefficients in other adjacent blocks. I have.
【0171】入力された画像データは、イントラフレー
ムであるか又は一時的に予測されたフレームであるかの
いずれかであり、まず、入力された画像データに対し
て、通常ブロックを基礎とするDCT変換処理が実行さ
れる。カレントブロックのDCT変換係数が得られた後
に、DCT変換領域の予測は量子化の前、又は後に実行
することができる。The input image data is either an intra-frame or a temporarily predicted frame. First, a DCT based on a normal block is performed on the input image data. Conversion processing is performed. After the DCT transform coefficients of the current block have been obtained, prediction of the DCT transform domain can be performed before or after quantization.
【0172】カレントブロックの中のDCT変換係数は
上方の左側に対角線方向(斜め方向)に位置した以前の
隣接するブロックから予測することができる。それら
は、図23に示すように、その時刻において既に復号化
されている。予測されたブロックは、カレントブロック
における同じ位置のDCT係数から前の隣接するブロッ
クの1つ又はそれ以上のDCT係数を減算することによ
って、予測された誤差信号を発生する。The DCT transform coefficient in the current block can be predicted from a previous adjacent block located diagonally (obliquely) on the upper left side. They have already been decoded at that time, as shown in FIG. The predicted block generates a predicted error signal by subtracting one or more DCT coefficients of a previous adjacent block from DCT coefficients of the same position in the current block.
【0173】異なる予測モードからの予測誤差信号が、
予測が量子化処理の前になされるならば量子化される。
量子化された予測誤差信号は、エントロピー符号化が実
行される前にシーケンスの(一連の)画像データに対し
てスキャンされる。最小ビット使用規則に基づいて予測
されたブロック、すなわち最小のビットを有する予測ブ
ロックが選択される。このブロックの符号化データは使
用する予測モードとともに画像予測復号化装置に送られ
る。The prediction error signals from the different prediction modes are
If the prediction is made before the quantization process, it is quantized.
The quantized prediction error signal is scanned against a sequence of image data before entropy coding is performed. The block predicted based on the minimum bit usage rule, that is, the predicted block having the minimum bit, is selected. The encoded data of this block is sent to the image prediction decoding device together with the prediction mode to be used.
【0174】画像予測復号化装置は、使用した予測モー
ド及びブロックの符号化されたデータを用いて、予測さ
れたブロックを復号化する。ブロックに対する符号化さ
れたデータに対する逆のエントロピー復号化の後に、量
子化された予測誤差は用いられるスキャンモードに従っ
て逆にスキャンされる。もし量子化処理が予測処理の後
の実行されるならば、ブロックは逆量子化されることに
なる。再構築されたブロックは、予測モードによって指
示された、前に復号化された隣接するブロックの中のD
CT変換係数を現在のDCT変換係数に加算することに
より得ることができる。一方、量子化処理が予測処理の
前に実行されるならば、再構築された係数は逆量子化さ
れる。最後に、逆DCT変換処理が各ブロックに対して
再構築されたDCT変換係数に適用され、復号化された
画像を得ることができる。The image prediction decoding apparatus decodes a predicted block using the used prediction mode and encoded data of the block. After inverse entropy decoding on the encoded data for the block, the quantized prediction error is inversely scanned according to the scan mode used. If the quantization process is performed after the prediction process, the block will be dequantized. The reconstructed block is the D in the previously decoded neighboring block, as indicated by the prediction mode.
It can be obtained by adding the CT transform coefficient to the current DCT transform coefficient. On the other hand, if the quantization process is performed before the prediction process, the reconstructed coefficients are inversely quantized. Finally, an inverse DCT transform is applied to the DCT transform coefficients reconstructed for each block to obtain a decoded image.
【0175】本発明に係る実施形態は、隣接するブロッ
クを越えてDCT変換領域の中に存在する冗長性を減少
させる画像予測符号化装置及び画像予測復号化装置を提
供するものである。The embodiment according to the present invention provides an image predictive encoding apparatus and an image predictive decoding apparatus for reducing the redundancy existing in the DCT domain beyond adjacent blocks.
【0176】<第8の実施形態>図24は、本発明に係
る第8の実施形態である画像予測符号化装置の構成を示
すブロック図である。図24の画像予測符号化装置は、
図22の従来技術の画像予測符号化装置と比較して、
(a)加算器2035、(b)H/V/Zスキャンユニ
ット2036、(c)加算器2038、(d)ブロック
メモリ2039、及び(e)量子化スケーリングを有す
るDCT変換領域予測ユニット2040を備えたことを
特徴としている。<Eighth Embodiment> FIG. 24 is a block diagram showing a configuration of an image predictive coding apparatus according to an eighth embodiment of the present invention. The image prediction encoding apparatus in FIG.
As compared with the conventional image predictive coding apparatus of FIG.
(A) Adder 2035, (b) H / V / Z scan unit 2036, (c) Adder 2038, (d) Block memory 2039, and (e) DCT transform domain prediction unit 2040 having quantization scaling. It is characterized by that.
【0177】イントラフレーム符号化(フレーム内符号
化)においては、入力された画像信号に対して、ユニッ
ト2031でブロックサンプリング処理が実行された後
に、直接にユニット2033でDCT変換処理が実行さ
れる。次いで、ユニット2034で、DCT変換ユニッ
ト2033から出力されるDCT変換係数に対して量子
化処理が実行される。一方、インターフレーム符号化又
はフレーム間符号化(予測フレーム符号化)において
は、ユニット2031のブロックサンプリング処理の後
に、加算器2032は、ブロックサンプリング処理後の
画像データから、動き検出及び補償ユニット2045か
ら出力された画像データを減算して、予測誤差データを
得る。次いで、この予測誤差データは、DCT変換処理
を実行するDCT変換ユニット2033及び量子化処理
を実行する量子化ユニット2034を介して加算器20
35に出力される。DCT変換係数は、ユニット204
0のDCT変換領域処理によって予測され、予測された
DCT変換係数は加算器2035に入力される。加算器
2035は、量子化ユニット2034からのDCT変換
係数から、DCT変換領域予測ユニット2040からの
予測されたDCT変換係数を減算して、減算結果の予測
誤差のDCT変換係数を、H/V/Zスキャンユニット
2036及び加算器2038に出力する。H/V/Zス
キャンユニット2036は、選択された予測モードに依
存して、入力されたDCT変換係数に対して適応的に、
水平スキャン、垂直スキャン又はジグザグスキャンを実
行して、スキャン処理後のDCT変換係数をエントロピ
ーVLC符号化ユニット2037に出力する。次いで、
エントロピーVLC符号化ユニット2037は、入力さ
れたDCT変換係数をエントロピーVLC符号化処理を
実行して、符号化されたビットストリームを受信側又は
再生側の画像予測復号化装置に伝送する。In the intra-frame coding (intra-frame coding), after the input image signal is subjected to the block sampling processing in the unit 2031, the DCT conversion processing is directly performed in the unit 2033. Next, in a unit 2034, a quantization process is performed on the DCT transform coefficient output from the DCT transform unit 2033. On the other hand, in the inter-frame coding or the inter-frame coding (predictive frame coding), after the block sampling processing of the unit 2031, the adder 2032 outputs the image data after the block sampling processing from the motion detection and compensation unit 2045. By subtracting the output image data, prediction error data is obtained. Next, the prediction error data is added to the adder 20 via a DCT transform unit 2033 for performing a DCT transform process and a quantization unit 2034 for performing a quantize process.
35. The DCT transform coefficient is calculated in the unit 204
The DCT transform coefficients predicted by the DCT transform domain processing of 0 are input to the adder 2035. The adder 2035 subtracts the DCT transform coefficient predicted from the DCT transform region prediction unit 2040 from the DCT transform coefficient from the quantization unit 2034, and calculates the DCT transform coefficient of the prediction error of the subtraction result as H / V / Output to the Z scan unit 2036 and the adder 2038. The H / V / Z scan unit 2036 adapts to the input DCT transform coefficients, depending on the selected prediction mode,
A horizontal scan, a vertical scan or a zigzag scan is executed, and the DCT transform coefficients after the scan processing are output to the entropy VLC encoding unit 2037. Then
The entropy VLC encoding unit 2037 performs an entropy VLC encoding process on the input DCT transform coefficients, and transmits the encoded bit stream to the image prediction decoding device on the reception side or the reproduction side.
【0178】加算器2038は、加算器2035から出
力される量子化されたDCT変換係数と、DCT変換領
域予測ユニット2040からの予測されたDCT変換係
数とを加算することにより、復元された量子化DCT変
換係数データを得る。当該量子化DCT変換係数データ
は、ブロックメモリ2039及び逆量子化ユニット20
41に出力される。The adder 2038 adds the quantized DCT transform coefficient output from the adder 2035 and the predicted DCT transform coefficient from the DCT transform area prediction unit 2040 to obtain the restored quantized DCT transform coefficient. DCT transform coefficient data is obtained. The quantized DCT transform coefficient data is stored in the block memory 2039 and the inverse quantization unit 20.
It is output to 41.
【0179】当該画像予測符号化装置に設けられるロー
カルデコーダにおいて、加算器2038からの復元され
たDCT変換係数データは、次の予測を行うために1つ
のブロックのデータを格納するブロックメモリ2039
に一時的に記憶された後、DCT変換領域予測ユニット
2040に出力される。逆量子化ユニット2041は、
入力される量子化DCT変換係数を逆量子化して逆DC
T変換ユニット2042に出力し、次いで、逆DCT変
換ユニット2042は、入力される復元されたDCT変
換係数を逆DCT変換処理を実行して、現時点のブロッ
クの画像データを復元して加算器2043に出力する。In the local decoder provided in the image predictive coding apparatus, the restored DCT transform coefficient data from the adder 2038 stores the data of one block for performing the next prediction.
After that, the data is temporarily output to the DCT transform domain prediction unit 2040. The inverse quantization unit 2041 is
Inverse quantizing the input quantized DCT transform coefficient
Output to the T-transform unit 2042, and then the inverse DCT transform unit 2042 performs an inverse DCT transform process on the input restored DCT transform coefficient to restore the image data of the current block to the adder 2043. Output.
【0180】フレーム間符号化においては、ローカル復
号化された画像データを生成するために、加算器204
3は、動き検出及び補償ユニット2045によって動き
検出及び補償された画像データと、逆DCT変換ユニッ
ト2042からの復元された画像データとを加算して、
ローカル復号化された画像データを得て、ローカルデコ
ーダのフレームメモリ2044に記憶される。なお、加
算器2043とフレームメモリ2044と動き検出及び
補償ユニット2045の構成及び処理は、図22の従来
技術のユニット2009、2010及び2011と同様
である。In the inter-frame encoding, an adder 204 is used to generate locally decoded image data.
3 adds the image data motion detected and compensated by the motion detection and compensation unit 2045 and the restored image data from the inverse DCT transform unit 2042,
The locally decoded image data is obtained and stored in the frame memory 2044 of the local decoder. The configuration and processing of the adder 2043, the frame memory 2044, and the motion detection and compensation unit 2045 are the same as those of the units 2009, 2010, and 2011 of the related art in FIG.
【0181】最終的には、ビットストリームはエントロ
ピー符号化ユニット2037から出力されて画像予測符
号化装置に送られる。Finally, the bit stream is output from the entropy coding unit 2037 and sent to the image predictive coding device.
【0182】図25は、本発明に係る第8の実施形態で
ある画像予測復号化装置の構成を示すブロック図であ
る。図25の画像予測復号化装置は、図23の従来技術
の画像予測復号化装置に比較して、(a)H/V/Zス
キャンユニット2052、(b)加算器2053、
(c)DCT変換領域予測ユニット2055、及び
(d)ブロックメモリ2054、を備えたことを特徴と
する。FIG. 25 is a block diagram showing a configuration of an image prediction decoding apparatus according to the eighth embodiment of the present invention. The image prediction decoding apparatus of FIG. 25 is different from the conventional image prediction decoding apparatus of FIG. 23 in that (a) an H / V / Z scan unit 2052, (b) an adder 2053,
(C) a DCT transform area prediction unit 2055; and (d) a block memory 2054.
【0183】図25において、画像予測符号化装置から
のビットストリームは、可変長デコーダユニット205
1において復号化される。復号化されたデータは、H/
V/Z逆スキャンユニット2052に入力され、スキャ
ンモードに依存して、水平に逆方向で、垂直に逆方向
で、又はジグザグに逆方向でスキャンされる。スキャン
処理後のデータは加算器2053に入力され、加算器2
053は、逆スキャン処理後のデータと、DCT変換予
測ユニット2055からの予測誤差データとを加算する
ことにより、復号化されたDCT変換係数データを得
て、これを逆量子化ユニット2056に出力するととも
に、ブロックメモリ2054に記憶される。次いで、逆
量子化ユニット2056は、入力される符号化されたD
CT変換係数データを逆量子化して逆量子化されたDC
T変換係数データを得て、逆DCT変換ユニット205
7に出力する。逆DCT変換ユニット2057は、入力
されるDCT変換係数データに対して逆DCT変換処理
を実行して、元の画像データを復元して、加算器205
8に出力する。フレーム間符号化においては、加算器2
058は、動き検出及び補償ユニット2060からの予
測誤差データに、逆DCT変換ユニット2057からの
画像データを加算して、局所的に復号化された画像デー
タを得て、外部装置に出力するとともに、フレームメモ
リ2059に記憶する。In FIG. 25, the bit stream from the image prediction coding apparatus is
1 is decoded. The decrypted data is H /
It is input to the V / Z reverse scan unit 2052 and is scanned horizontally in the reverse direction, vertically in the reverse direction, or zigzag in the reverse direction, depending on the scan mode. The data after the scan processing is input to the adder 2053 and the adder 2
053 obtains decoded DCT transform coefficient data by adding the data after the inverse scan processing and the prediction error data from the DCT transform prediction unit 2055, and outputs this to the inverse quantization unit 2056. At the same time, it is stored in the block memory 2054. The inverse quantization unit 2056 then calculates the input encoded D
DC that is inversely quantized by inversely quantizing CT transform coefficient data
After obtaining the T-transform coefficient data, the inverse DCT transform unit 205
7 is output. The inverse DCT transform unit 2057 performs an inverse DCT transform process on the input DCT transform coefficient data to restore the original image data, and
8 is output. In the interframe coding, the adder 2
058 adds the image data from the inverse DCT transform unit 2057 to the prediction error data from the motion detection and compensation unit 2060 to obtain locally decoded image data, and outputs it to an external device; It is stored in the frame memory 2059.
【0184】さらに、加算器2058から出力される復
号化された画像データは、図24のブロックサンプリン
グユニット2031の処理に対応する逆の復元処理によ
り、元の画像データが復元される。Further, the decoded image data output from the adder 2058 is restored to the original image data by a reverse restoration process corresponding to the process of the block sampling unit 2031 in FIG.
【0185】以上の実施形態においては、量子化処理が
予測処理に先だって行われる。変形例においては、予測
処理の後に量子化処理を行ってもよい。この場合、ロー
カルデコーダ及び画像予測復号化装置では、予測値が加
算される前に逆量子化処理が実行される。他の詳細は全
て、上述の実施形態と同様である。In the above embodiment, the quantization process is performed prior to the prediction process. In a modification, a quantization process may be performed after the prediction process. In this case, in the local decoder and the image prediction decoding device, an inverse quantization process is performed before the prediction value is added. All other details are the same as in the above embodiment.
【0186】図26は、第8の実施形態において、ブロ
ック分割から得られた、フレームのマクロブロックとブ
ロックの構造を示し、かつブロック予測方法を示す画像
の模式図である。図26の拡大図は、カレントブロック
に対する予測データがどのように符号化されるかを示
す。ここで、ブロックC(u,v)は、上側に隣接する
ブロックA(u,v)と、左方向に隣接するブロックB
(u,v)とから得られる。次に、本発明にこの実施形
態を更に詳しく説明する。FIG. 26 is a schematic diagram of an image showing the macroblock and block structures of a frame obtained from block division and showing a block prediction method in the eighth embodiment. The enlarged view of FIG. 26 shows how the prediction data for the current block is encoded. Here, the block C (u, v) is composed of a block A (u, v) adjacent to the upper side and a block B adjacent to the left.
(U, v). Next, the embodiment of the present invention will be described in more detail.
【0187】<C1.予測に使用される係数の番号>予
測に使用される係数のナンバーは画像データのシーケン
スに依存している。フラグAC_Coeffは、各画像
に使用される係数の最適の数を適応的に選択するために
使用される。フラグは下の表2に示され、サイド情報の
一部として画像予測符号化装置から画像予測復号化装置
に送られる。フラグAC_Coeffに対する固定長コ
ード及びFLCを表2に示す。ここで、FLC(Fixed
LengthCoding;固定長符号化)は、すべての可能なイベ
ントを表すために、固定長のコードワードを割り当てる
可逆符号化である。<C1. Coefficient number used for prediction> coefficient number used for prediction depends on the sequence of image data. The flag AC_Coeff is used to adaptively select the optimal number of coefficients used for each image. The flags are shown in Table 2 below and are sent from the image prediction encoding device to the image prediction decoding device as part of the side information. Table 2 shows fixed length codes and FLC for the flag AC_Coeff. Here, FLC (Fixed
LengthCoding (fixed length coding) is a lossless coding that assigns a fixed length codeword to represent all possible events.
【0188】[0188]
【表2】 [Table 2]
【0189】ここで、ACnは、用いられるモードに依
存して、A(0,n)又はB(n,0)である。Here, ACn is A (0, n) or B (n, 0), depending on the mode used.
【0190】この実施形態の特別なケースでは、最上行
及び最左列のすべてのAC係数が予測のために使用され
る。このケースでは、画像予測符号化装置と画像予測復
号化装置との両方が、このデフォルト値を同意している
とき、フラグを必要としない。In the special case of this embodiment, all AC coefficients in the top row and leftmost column are used for prediction. In this case, when both the image predictive encoding device and the image predictive decoding device agree with this default value, no flag is required.
【0191】<C2.量子化ステップのスケーリング>
隣接するブロックがカレントブロックからの異なる量子
化ステップサイズを用いて量子化されるときは、AC係
数の予測はそんなに能率的ではない。従って、当該予測
方法は、予測データが、現在のカレントブロックの量子
化ステップサイズの比と、予測データのブロックの量子
化ステップの比とによってスケーリングされるように変
形される。この定義は次の節C3.における方程式を用
いて与えられる。<C2. Scaling of quantization step>
When neighboring blocks are quantized using different quantization step sizes from the current block, the prediction of AC coefficients is not very efficient. Therefore, the prediction method is modified such that the prediction data is scaled by the ratio of the quantization step size of the current current block and the ratio of the quantization step of the block of the prediction data. This definition is defined in the next section C3. Is given using the equation at.
【0192】<C3.予測モード>設定される複数のモ
ードは次の通りである。<C3. Prediction mode> A plurality of modes to be set are as follows.
【0193】(a)モード0:処理ブロックから上側の
ブロックからのDC予測(「上のDCモード」と略
す。)(A) Mode 0: DC prediction from the upper block from the processing block (abbreviated as “upper DC mode”)
【0194】[0194]
【数7】 E0(0,0)=C(0,0)−A(0,0), E0(u,v)=C(u,v)E 0 (0,0) = C (0,0) −A (0,0), E 0 (u, v) = C (u, v)
【0195】(b)モード1:処理ブロックから左側の
ブロックからのDC予測(「左のDCモード」と略
す。)(B) Mode 1: DC prediction from the block on the left side of the processing block (abbreviated as “left DC mode”)
【0196】[0196]
【数8】 E1(0,0)=C(0,0)−B(0,0), E1(u,v)=C(u,v)E 1 (0,0) = C (0,0) −B (0,0), E 1 (u, v) = C (u, v)
【0197】(c)モード2;処理ブロックから上側の
ブロックからのDC/AC予測(「上のDC/ACモー
ド」と略す。)(C) Mode 2: DC / AC prediction from the block above the processing block (abbreviated as “upper DC / AC mode”)
【0198】[0198]
【数9】 E2(0,0)=C(0,0)−A(0,0), E2(0,v)=C(0,v)−A(0,v)・QA/Q
C, v=1,2,…,AC_Coeff, E2(u,v)=C(u,v)E 2 (0,0) = C (0,0) −A (0,0), E 2 (0, v) = C (0, v) −A (0, v) · Q A / Q
C , v = 1, 2,..., AC_Coeff, E 2 (u, v) = C (u, v)
【0199】(d)モード3:処理ブロックから左側の
ブロックからのDC/AC予測(「左のDC/ACモー
ド」と略す。)(D) Mode 3: DC / AC prediction from the block on the left side of the processing block (abbreviated as “left DC / AC mode”)
【0200】[0200]
【数10】 E3(0,0)=C(0,0)−B(0,0), E3(u,0)=C(u,0)−B(u,0)・QB/Q
C u=1,2,…,AC_Coeff, E3(u,v)=C(u,v)E 3 (0,0) = C (0,0) −B (0,0), E 3 (u, 0) = C (u, 0) −B (u, 0) · Q B / Q
C u = 1,2, ..., AC_Coeff , E 3 (u, v) = C (u, v)
【0201】<C4.適応的水平/垂直/ジグザグスキ
ャン>上のような4個の予測モードが与えられるなら
ば、フレーム内符号化の効率は係数のスキャンを採用す
ることによりさらに改善させることができる。<C4. Adaptive Horizontal / Vertical / Zigzag Scan> Given the four prediction modes as above, the efficiency of intra-frame encoding can be further improved by employing a coefficient scan.
【0202】図27、図28及び図29はそれぞれ、第
8の実施形態における係数スキャンに用いられる水平ス
キャン、垂直スキャン及び水平スキャンの順序を説明す
るための画像の模式図である。ここで、これらのスキャ
ンは集合的にH/V/Zスキャンとして参照される。FIGS. 27, 28, and 29 are schematic diagrams of images for explaining the order of horizontal scan, vertical scan, and horizontal scan used for coefficient scanning in the eighth embodiment. Here, these scans are collectively referred to as H / V / Z scans.
【0203】<C5.明示的モードの決定>明示的(ex
plicit)モードの決定においては、予測モードの決定が
画像予測符号化装置において実行され、その決定情報
が、ビットストリームにおける幾つかの符号化されたビ
ット情報を用いて画像予測符号化装置から画像予測復号
化装置に明示的に送られる。<C5. Determine explicit mode> explicit (ex
In the determination of the plicit) mode, the prediction mode is determined in the image predictive coding apparatus, and the determination information is obtained from the image predictive coding apparatus using some coded bit information in the bit stream. It is sent explicitly to the decoding device.
【0204】図30は、第8の実施形態に使用されてい
るモード決定処理を示すフローチャートである。FIG. 30 is a flowchart showing the mode determination processing used in the eighth embodiment.
【0205】図30において、カレントブロックのDC
T変換係数データはユニット2062に入力され、ユニ
ット2062は、ブロックメモリ2061からの隣接す
るブロックのDCT変換係数データから入力されたカレ
ントブロックのDCT変換係数データを減算することに
より、DCT変換予測処理が実行される。ユニット20
62では、節C3.で説明された4つのモードで、DC
T変換予測処理が実行される。次いで、H/V/Zスキ
ャンユニット2063では、係数のスキャン処理が実行
され、ここでは、図30に示すように、節C4.で説明
したそれぞれ対応するスキャン処理が実行される。さら
に、スキャン処理後のDCT変換係数データは、エント
ロピー符号化ユニット2064に送られ、ここで可変長
符号化処理が実行される。次いで、ユニット2065で
は、異なるモードで発生されたすべてのビットが比較さ
れて、ユニット2066では、最少のビットを発生する
予測モードのDCT変換係数のブロックが選択される。
これらのDCT変換係数データのビットは予測モードの
値とともにユニット2066からビットストリームとし
て画像予測復号化装置に送られる。なお、予測モード
は、次の表3の固定長コードを用いて符号化される。In FIG. 30, the DC of the current block is
The T-transform coefficient data is input to the unit 2062. The unit 2062 performs the DCT transform prediction process by subtracting the input DCT transform coefficient data from the DCT transform coefficient data of the adjacent block from the block memory 2061. Be executed. Unit 20
62, section C3. In the four modes described in
The T conversion prediction processing is performed. Next, in the H / V / Z scan unit 2063, a coefficient scan process is executed. Here, as shown in FIG. The corresponding scan processing described in (1) is executed. Further, the DCT transform coefficient data after the scan processing is sent to the entropy coding unit 2064, where the variable length coding processing is executed. Then, in unit 2065, all bits generated in the different modes are compared, and in unit 2066 a block of DCT transform coefficients in the prediction mode that produces the least number of bits is selected.
These DCT transform coefficient data bits are sent from the unit 2066 as a bit stream to the image prediction decoding device together with the prediction mode value. Note that the prediction mode is encoded using the fixed length codes shown in Table 3 below.
【0206】[0206]
【表3】 [Table 3]
【0207】<C6.暗黙的モードの決定>モード決定
の第2の実施例では、画像予測符号化装置と画像予測復
号化装置とが同一の予測モード決定機能を共有してい
る。画像予測符号化装置と画像予測復号化装置は共に、
カレントブロックに隣接する復号化されたブロックのD
C係数値に基づいて、予測モードの決定に関する方向性
を決定する。すなわち、暗黙的(implicit)モードの決
定においては、暗黙的モードの決定が幾つかの規則を用
いて画像予測符号化装置と画像予測復号化装置において
実行される。そして、モード決定を示す付加的な情報デ
ータは画像予測符号化装置から画像予測復号化装置に対
して送られない。<C6. Determination of Implicit Mode> In the second embodiment of the mode determination, the image prediction encoding device and the image prediction decoding device share the same prediction mode determination function. Both the image prediction encoding device and the image prediction decoding device
D of the decoded block adjacent to the current block
On the basis of the C coefficient value, the direction regarding the determination of the prediction mode is determined. That is, in the determination of the implicit mode, the determination of the implicit mode is performed in the image prediction encoding device and the image prediction decoding device using some rules. Then, the additional information data indicating the mode determination is not sent from the image prediction encoding device to the image prediction decoding device.
【0208】図31は、第8の実施形態の暗黙モード決
定におけるブロックの関係を示す画像の模式図である。
すなわち、図31は、各ブロックと予測対象であるカレ
ントブロックとの位置関係を示している。FIG. 31 is a schematic diagram of an image showing the relationship between blocks in the implicit mode determination according to the eighth embodiment.
That is, FIG. 31 shows the positional relationship between each block and the current block to be predicted.
【0209】図31において、ブロックCは現在予測中
の処理対象のカレントブロックである。ブロックAは、
予測中のカレントブロックCの上側のブロックである。
ブロックCは、カレントブロックCから左側に位置する
ブロックである。ブロックC’は、カレントブロックC
とは対角位置にあるブロックAとブロックBの間のブロ
ックである。In FIG. 31, a block C is a current block to be processed which is currently being predicted. Block A
This is a block above the current block C being predicted.
Block C is a block located on the left side of current block C. Block C ′ is the current block C
Is a block between diagonally located blocks A and B.
【0210】まず、DCの方向が決定される。個別の決
定方法を使用して、AC係数も同様に予測中であるか否
かが決定される。これを行うには、予測係数の絶対値の
差の合計を非予測係数の絶対値と比較し、何れが小さい
かを判断する。画像予測復号化装置へのこの指示には、
1ビットが使用される。DC予測の方向性、及びAC係
数が予測されているか否かの決定には、以下の式が使用
される。表3は、可能性のある4つの結論を要約したも
のである。First, the direction of DC is determined. Using a separate determination method, it is determined whether the AC coefficient is also being predicted. To do this, the sum of the differences between the absolute values of the prediction coefficients is compared with the absolute value of the non-prediction coefficients to determine which is smaller. This instruction to the image prediction decoding device includes:
One bit is used. The following equations are used to determine the direction of DC prediction and whether the AC coefficients are predicted. Table 3 summarizes the four possible conclusions.
【0211】(A1)もし(A1) If
【数11】(B(0,0)−C’(0,0)<C’
(0,0)−A(0,0)) のとき、(B (0,0) −C ′ (0,0) <C ′
(0,0) -A (0,0)),
【数12】 E(0,0)=C(0,0)−A(0,0) であり、(a1)もしE (0,0) = C (0,0) −A (0,0), and (a1)
【0212】[0212]
【数13】 (Equation 13)
【0213】のとき、At the time,
【0214】[0214]
【数14】E(0,v)=C(0,v)−A(0,v)
・QA/QC,v=1,…,7,E (0, v) = C (0, v) -A (0, v)
・ Q A / Q C , v = 1, ..., 7,
【0215】(a2)上記数13が成立しなければ、(A2) If the above equation 13 does not hold,
【数15】E(0,v)=C(0,v) である。## EQU15 ## E (0, v) = C (0, v).
【0216】(A2)上記数11が成立しなければ、(A2) If the above equation (11) does not hold,
【数16】 E(0,0)=C(0,0)−B(0,0) であり、(b1)もしE (0,0) = C (0,0) -B (0,0), and if (b1)
【0217】[0219]
【数17】 [Equation 17]
【0218】のとき、At the time,
【0219】[0219]
【数18】E(u,0)=C(u,0)−B(u,0)
・QB/QC,v=1,…,7,E (u, 0) = C (u, 0) -B (u, 0)
・ Q B / Q C , v = 1, ..., 7,
【0220】(b2)上記数17が成立しなければ、(B2) If Equation 17 is not satisfied,
【数19】E(u,0)=C(u,0) である。E (u, 0) = C (u, 0)
【0221】さらに、他の全ての係数に対して、Further, for all other coefficients,
【数20】E(u,v)=C(u,v) である。E (u, v) = C (u, v)
【0222】[0222]
【表4】 [Table 4]
【0223】以上の第8の実施形態において、DCT変
換係数予測処理はユニット2040によって、量子化さ
れた変換係数データについて行っているが、本発明はこ
れに限らず、図17の第6の実施形態と同様に、量子化
されない変換係数データについて行ってもよい。この場
合、対応する画像予測復号化装置においては、図25に
おいて、逆量子化ユニット2056は、逆スキャンユニ
ット2052と、加算器2053に移動されて挿入され
る。In the eighth embodiment described above, the DCT transform coefficient prediction processing is performed on the quantized transform coefficient data by the unit 2040. However, the present invention is not limited to this, and the sixth embodiment of FIG. Similar to the embodiment, the processing may be performed on transform coefficient data that is not quantized. In this case, in the corresponding image prediction decoding apparatus, in FIG. 25, the inverse quantization unit 2056 is moved to and inserted into the inverse scan unit 2052 and the adder 2053.
【0224】以下、第8の実施形態の変形例について述
べる。Hereinafter, a modified example of the eighth embodiment will be described.
【0225】(a)ブロックサンプリングユニット20
31は、4つのブロックのグループの中の二次元配列の
画素は、第1のブロックでは奇数番目の行にある奇数番
目の画素から成り、第2のブロックでは奇数番目の行に
ある偶数番目の画素から成り、第3ブロックでは偶数番
目の行にある奇数場番目の画素から成り、第4ブロック
では偶数番目の行にある偶数番目の画素から成るよう
に、画素を交互に差し挟むインターリーブ処理を含んで
もよい。 (b)上記予測ブロックは、上記ブロックメモリに格納
され、前に復元されたブロックであって、符号化された
カレントブロックに隣接するように位置されたブロック
から選択され、ブロック中の全ての係数データが選択さ
れてもよい。 (c)上記予測ブロックは、上記ブロックメモリに格納
され、前に復元されたブロックであって、符号化された
カレントブロックに隣接するように位置されたブロック
から選択され、あらかじめ定められたサブセットがブロ
ックの係数データとして選択されてもよい。(A) Block sampling unit 20
31, the pixels of the two-dimensional array in the group of four blocks consist of odd-numbered pixels in odd-numbered rows in the first block and even-numbered pixels in odd-numbered rows in the second block. The third block comprises an interleaving process of alternately interposing pixels such that the third block is composed of odd-numbered pixels in even-numbered rows and the fourth block is composed of even-numbered pixels in even-numbered rows. May be included. (B) the prediction block is selected from blocks previously stored in the block memory and previously restored, the blocks being located adjacent to the current block being coded, and all the coefficients in the block are selected. Data may be selected. (C) the prediction block is selected from a block stored in the block memory and previously restored, the block being positioned adjacent to the current coded block, and a predetermined subset is selected; It may be selected as coefficient data of a block.
【0226】(d)上記予測ブロックは、上記ブロック
メモリに格納され、前に復元されたブロックであって、
符号化されたカレントブロックの上方及び左側に隣接す
るよう位置されたブロックから選択され、当該ブロック
の最上行、及び当該ブロックの最左列の係数データのみ
が使用され、残りの係数データはゼロにセットされても
よい。 (e)上記予測ブロックは、上記ブロックメモリに格納
され、前に復元されたブロックから上述の基準に従って
選択され、当該ブロックの最上行又は最左列からの1つ
又はそれ以上の係数データを含むサブセットのみを使用
することを、画像予測符号化装置と画像予測復号化装置
とが通信を行うことにより決定してもよい。 (f)上記予測ブロックは、上記ブロックメモリに格納
され、前に復元されたブロックから上述の基準に従って
選択され、当該ブロックの最上行又は最左列からの1つ
又はそれ以上の係数データを含むサブセットのみを使用
することを、画像予測符号化装置が決定して、決定され
たサブセット及び係数データの数を示すフラグを、画像
予測復号化装置に送信されるデータに周期的に挿入する
ことにより、画像予測復号化装置に通知してもよい。(D) The prediction block is a block stored in the block memory and previously restored,
Selected from blocks located adjacent and above and to the left of the current block being coded, only the coefficient data in the top row of the block and the leftmost column of the block are used, and the remaining coefficient data is zero. May be set. (E) the prediction block is stored in the block memory and selected from previously restored blocks according to the criteria described above, and includes one or more coefficient data from the top row or leftmost column of the block; The use of only the subset may be determined by communication between the image prediction encoding device and the image prediction decoding device. (F) The prediction block is stored in the block memory and selected from previously restored blocks according to the criteria described above and includes one or more coefficient data from the top row or the leftmost column of the block. The image prediction encoding apparatus determines that only the subset is used, and periodically inserts a flag indicating the determined subset and the number of coefficient data into data transmitted to the image prediction decoding apparatus. May be notified to the image prediction decoding apparatus.
【0227】(g)上記予測ブロックは、上記ブロック
メモリに格納され、前に復元されたブロックから上述の
基準に従って選択され、各ブロックの係数データは、符
号化されるカレントブロックの量子化ステップサイズと
予測ブロックの量子化ステップサイズの比に等しい比で
乗算されてもよい。 (h)上記予測ブロックは、上記ブロックメモリに格納
され、前に復元されたブロックから上述の基準に従って
選択され、各ブロックの係数データは、異なる重み付け
関数で重み付けされてもよい。(i)上記予測ブロック
は、上記ブロックメモリに格納され、前に復元されたブ ロックから上述の基準に従って選択され、各ブロックの
係数データに対して所定の変換演算が実行されてもよ
い。(j)上記予測ブロックは、符号化されるカレント
ブロックに隣接して位置する、上記ブロックメモリに格
納され、前に復元されたブロックの重み付け平均値とし
て得てもよい。(G) The prediction block is stored in the block memory and selected from previously restored blocks in accordance with the above criteria, and the coefficient data of each block is the quantization step size of the current block to be encoded. And a ratio equal to the ratio of the quantization step size of the prediction block. (H) The prediction block is stored in the block memory and selected from previously restored blocks according to the above criteria, and the coefficient data of each block may be weighted with different weighting functions. (I) The prediction block may be stored in the block memory and selected from a previously restored block according to the above criteria, and a predetermined conversion operation may be performed on coefficient data of each block. (J) The prediction block may be obtained as a weighted average of previously restored blocks stored in the block memory and located adjacent to the current block to be encoded.
【0228】(k)スキャン方法は、(i)係数データ
が、左から右に向かって、行毎に、最上行で始まり、最
下行で終わるようにスキャンされる水平スキャンと、
(ii)係数データが、最上行から最下行に向かって、列
毎に、最左列から始まり、最右列で終るようにスキャン
される垂直スキャンと、(iii)係数データが、最上行
の最左の係数データから最下行の最右の係数データに向
かって、対角線方向にスキャンされるジグザグスキャン
とのうちの少なくとも1つのスキャン方法を含んでもよ
い。(K) The scanning method includes (i) a horizontal scan in which coefficient data is scanned from left to right for each row, starting from the top row and ending at the bottom row;
(Ii) a vertical scan in which coefficient data is scanned starting from the leftmost column and ending in the rightmost column for each column from the top row to the bottom row; and (iii) the coefficient data is The method may include at least one of a zigzag scan performed in a diagonal direction from the leftmost coefficient data to the rightmost coefficient data in the bottom row.
【0229】(l)上記予測ブロックは、上記ブロック
メモリに格納され、前に復元されたブロックから上述の
基準に従って選択され、上記予測ブロックの予測モード
は、(i)処理対象のカレントブロックから上側に位置
するブロックからの、DC係数として呼ばれる当該ブロ
ックの平均値を表す最上及び最左の係数データのみを予
測のために使用する第1のモードと、(ii)処理対象の
カレントブロックから左側に位置するブロックからの、
DC係数のみを予測のために使用する第2のモードと、
(iii)処理対象のカレントブロックから上側に位置す
るブロックの最上行からの、DC係数及び、高周波成分
を含む0個又はそれ以上のAC係数を予測のために使用
する第3のモードと、(iv)処理対象のカレントブロッ
クから左側に位置するブロックの最左列からの、DC係
数及び、高周波成分を含む0個又はそれ以上のAC係数
を予測のために使用する第4のモードと、の少なくとも
1つの予測モードを含み、上記予測誤差の係数データは
ジグザグスキャンのスキャン方法でスキャンされてもよ
い。(L) The prediction block is stored in the block memory and selected from the previously restored block in accordance with the above-described criterion, and the prediction mode of the prediction block is (i) higher than the current block to be processed. A first mode in which only the uppermost and leftmost coefficient data representing the average value of the block, referred to as DC coefficients, from the block located at From the block located
A second mode using only DC coefficients for prediction;
(Iii) a third mode in which a DC coefficient and zero or more AC coefficients including high-frequency components from the top row of a block located above the current block to be processed are used for prediction; iv) a fourth mode in which DC coefficients and zero or more AC coefficients including high frequency components are used for prediction from the leftmost column of the block located on the left side of the current block to be processed. The method may include at least one prediction mode, and the coefficient data of the prediction error may be scanned by a zigzag scan method.
【0230】(m)上記予測ブロックは、上記ブロック
メモリに格納され、前に復元されたブロックから上述の
基準に従って選択され、上記予測誤差の係数データは、
上述のスキャン方法の1つに従ってスキャンされ、上記
予測誤差の係数データを予測する予測モードは、(i)
処理対象のカレントブロックから上側に位置するブロッ
クにおけるDC係数のみが予測のために使用され、上記
予測誤差の係数データに対して、ジグザグスキャンでス
キャン処理が実行される第1のモードと、(ii)処理対
象のカレントブロックから左側に位置するブロックにお
けるDC係数のみが予測のために使用され、上記予測誤
差の係数データに対して、ジグザグスキャンでスキャン
処理が実行される第2のモードと、(iii)処理対象の
カレントブロックから上側に位置するブロックの最上行
におけるDC係数及び、高周波成分を含む0個又はそれ
以上のAC係数が予測のために使用され、上記予測誤差
の係数データに対して、水平スキャンでスキャン処理が
実行される第3のモードと、(iv)処理対象のカレント
ブロックから左側に位置するブロックの最左列における
DC係数及び、高周波成分を含む0個又はそれ以上のA
C係数が予測のために使用され、上記予測誤差の係数デ
ータに対して、垂直スキャンでスキャン処理が実行され
る第4のモードと、の少なくとも1つを含んでもよい。(M) The prediction block is stored in the block memory and selected from the previously restored block according to the above-described criterion, and the coefficient data of the prediction error is
The prediction mode for scanning according to one of the above-described scanning methods and predicting the coefficient data of the prediction error is (i)
A first mode in which only DC coefficients in a block located above the current block to be processed are used for prediction, and a scan process is performed by zigzag scan on the coefficient data of the prediction error; (ii) A) a second mode in which only DC coefficients in a block located on the left side of the current block to be processed are used for prediction, and a scan process is performed on the coefficient data of the prediction error by zigzag scan; iii) DC coefficients and 0 or more AC coefficients including high-frequency components in the top row of a block located above the current block to be processed are used for prediction, and the coefficient data of the prediction error is used for the prediction error coefficient data. A third mode in which scan processing is performed in horizontal scan, and (iv) a left mode from the current block to be processed. DC coefficient in the leftmost column of the block to be placed and zero or more A's including high-frequency components
A fourth mode in which a C coefficient is used for prediction and a scan process is performed in vertical scan on the coefficient data of the prediction error, may be included.
【0231】(n)上記復号化された画像データに基づ
いて、インターリーブされた4個のブロックからなる複
数のグループから二次元配列の画素を形成して元の画像
データを復元するときに、奇数番目の行にある奇数番目
の画素は全て第1のブロックから求め、奇数番目の行に
ある偶数番目の画素は第2のブロックから求め、偶数番
目の行にある奇数番目の画素は第3ブロックから求め、
偶数番目の行にある偶数番目の画素は第4ブロックから
求めるように、上記復号化された画像データに対して逆
インターリーブ処理を実行してもよい。 (o)画像予測符号化装置と画像予測復号化装置は、予
め決められた同一のルールを用いて、上記予測モードを
決定してもよい。 (p)画像予測符号化装置と画像予測復号化装置は、予
め決められた同一のルールを用いて、上記スキャン方法
を決定してもよい。(N) When restoring the original image data by forming a two-dimensional array of pixels from a plurality of groups of four interleaved blocks based on the decoded image data, All odd-numbered pixels in the second row are obtained from the first block, even-numbered pixels in the odd-numbered row are obtained from the second block, and odd-numbered pixels in the even-numbered row are obtained from the third block. From
The deinterleaving process may be performed on the decoded image data so that the even-numbered pixels in the even-numbered rows are obtained from the fourth block. (O) The image prediction encoding device and the image prediction decoding device may determine the prediction mode using the same predetermined rule. (P) The image prediction encoding device and the image prediction decoding device may determine the scanning method using the same predetermined rule.
【0232】以上説明したように、本発明に係る第3の
実施形態グループによれば、隣接するブロックを越えて
DCT変換領域の中の冗長性を削減又は除去するのに非
常に効果的であり、使用ビットのビット数を削減し、そ
の結果、符号化の効率を大幅に改善することができる。
これは新しいビデオ圧縮アルゴリズムにおけるツールと
しても有用である。As described above, according to the third embodiment of the present invention, it is very effective to reduce or eliminate redundancy in the DCT transform area beyond adjacent blocks. , The number of bits used is reduced, and as a result, coding efficiency can be greatly improved.
This is also useful as a tool in new video compression algorithms.
【0233】以上の実施形態において、画像予測符号化
装置及び画像予測復号化装置について述べているが、本
発明はこれに限らず、上記画像予測符号化装置における
各手段、各ユニットなどの構成要素をそれぞれ各ステッ
プに置き換えたステップを含む画像予測符号化方法であ
ってもよいし、上記画像予測復号化装置における各手
段、各ユニットなどの構成要素をそれぞれ各ステップに
置き換えたステップを含む画像予測復号化方法であって
もよい。この場合、例えば、上記画像予測符号化方法及
び/又は上記画像予測復号化方法の各ステップがプログ
ラムとして記憶装置に記憶され、マイクロプロセッサユ
ニット(MPU)、中央演算処理装置(CPU)などの
コントローラは当該プログラムを実行することにより、
画像予測符号化処理及び/又は上記画像予測復号化処理
を実行する。In the above embodiments, the image predictive coding apparatus and the image predictive decoding apparatus have been described. However, the present invention is not limited to this, and the constituent elements such as each unit and each unit in the image predictive coding apparatus described above. May be an image prediction encoding method including a step in which each step is replaced with each step, or an image prediction method including a step in which constituent elements such as each unit and each unit in the image prediction decoding apparatus are respectively replaced with each step A decoding method may be used. In this case, for example, each step of the image prediction encoding method and / or the image prediction decoding method is stored in a storage device as a program, and a controller such as a microprocessor unit (MPU) or a central processing unit (CPU) By executing the program,
The image prediction encoding process and / or the image prediction decoding process is performed.
【0234】また、本発明は、上記画像予測符号化方法
及び/又は上記画像予測復号化方法における各ステップ
を含むプログラムを記録した記録媒体であってもよい。
当該記録媒体は、例えば記録領域がセクタ形状に分割さ
れ、又は記録領域が渦巻き形状で各ブロックに分割され
た円盤形状を有し、例えば、CD−ROM、DVDなど
の光ディスク又は光磁気ディスク、もしくは、フロッピ
ーディスクなどの磁気記録ディスクである。Further, the present invention may be a recording medium which records a program including each step in the above-mentioned image prediction encoding method and / or the above-mentioned image prediction decoding method.
The recording medium has, for example, a disk shape in which a recording area is divided into sector shapes or a recording area is divided into individual blocks in a spiral shape, and, for example, an optical disk or a magneto-optical disk such as a CD-ROM or a DVD, or And a magnetic recording disk such as a floppy disk.
【0235】[0235]
【発明の効果】以上詳述したように、本発明に係る画像
予測符号化装置によれば、入力される符号化画像データ
を互いに隣接する複数の小領域の画像データに分割する
分割手段と、上記分割手段によって分割された互いに隣
接する複数の小領域の画像データの中で処理対象の小領
域の画像データを符号化するときに、上記処理対象の小
領域の画像データに隣接する再生された再生小領域の画
像データを上記処理対象の小領域の画面内予測小領域の
画像データとし、上記画面内予測小領域の画像データを
最適予測小領域の画像データとし、上記処理対象の小領
域の画像データと上記最適予測小領域の画像データとの
差分である差分小領域の画像データを生成する第1の生
成手段と、上記生成手段によって生成された差分小領域
の画像データを符号化する符号化手段と、上記符号化手
段によって符号化された差分小領域の画像データを復号
化する復号化手段と、上記復号化手段によって復号化さ
れた差分小領域の画像データを上記最適予測小領域の画
像データに加算することにより再生された再生小領域の
画像データを生成する第2の生成手段とを備える。従っ
て、処理対象の小領域の画像データに隣接する再生され
た画素値を画面内予測信号の画素値とするだけで、従来
技術に比較して低い演算量で簡単に高精度な予測信号を
生成することができ、フレーム内符号化のビット数を削
減することができるという特有の効果が得られる。ま
た、本発明に係る画像予測符号化装置によれば、入力さ
れた画像信号をそれぞれ二次元配列の画素値を含む複数
のブロックの画像データにサンプリングするサンプリン
グ手段と、上記サンプリング手段によってサンプリング
されたブロックの画像データを所定の変換領域の係数デ
ータに変換する変換手段と、復元されたブロックの係数
データを格納するブロックメモリと、上記ブロックメモ
リに格納された前に再構築されたブロックの係数データ
に基づいて、上記変換手段によって変換されたブロック
の係数データに対して複数の予測ブロックの係数データ
を形成する予測手段と、上記予測手段によって形成され
た複数の予測ブロックの係数データのうち、最も効率が
良い予測ブロックの係数データを決定し選択して出力
し、上記選択された予測ブロックを表す指示子を指示ビ
ットの形式で画像予測復号化装置に送信する決定手段
と、上記決定手段によって選択された予測ブロックの係
数データを、現時点のカレントブロックの係数データか
ら減算することにより、減算結果の予測誤差の係数デー
タを出力する第1の加算手段と、上記第1の加算手段か
ら出力される予測誤差の係数データを量子化する量子化
手段と、上記量子化手段からの予測誤差の係数データを
エントロピー符号化して、符号化された予測誤差の係数
データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化
して、復元されたブロックの係数データを出力する逆量
子化手段と、上記決定手段から出力される予測ブロック
の係数データを、上記逆量子化手段から出力される予測
誤差の係数データに加算することにより、復元されたブ
ロックの係数データを出力するとともに、上記ブロック
メモリに格納する第2の加算手段と、上記第2の加算手
段から出力されるブロックの係数データを逆変換するこ
とにより、復元されたブロックの画像データを生成する
逆変換手段とを備える。従って、現時点の符号化効率を
増大させる新しい画像予測符号化装置及び画像予測復号
化装置を提供することができる。当該装置では、符号化
効率を上げるためには複雑な手段は必要とせず、その回
路構成は、非常に簡単で容易に形成できる。さらに、本
発明に係る画像予測符号化装置によれば、入力された画
像信号をそれぞれ二次元配列の画素値を含む複数のブロ
ックの画像データにサンプリングするサンプリング手段
と、上記サンプリング手段によってサンプリングされた
ブロックの画像データを所定の変換領域の係数データに
変換する変換手段と、復元されたブロックの係数データ
を格納するブロックメモリと、上記ブロックメモリに格
納された前に再構築されたブロックの係数データに基づ
いて、上記変換手段によって変換されたブロックの係数
データに対して複数の予測ブロックの係数データを形成
する予測手段と、上記予測手段によって形成された複数
の予測ブロックの係数データのうち、最も効率が良い予
測ブロックの係数データ及びスキャン方法を決定し選択
して出力し、上記選択された予測ブロック及びスキャン
方法を表す指示子を指示ビットの形式で画像予測復号化
装置に送信する決定手段と、上記決定手段によって選択
された予測ブロックの係数データを、現時点のカレント
ブロックの係数データから減算することにより、減算結
果の予測誤差の係数データを出力する第1の加算手段
と、上記第1の加算手段から出力される予測誤差の係数
データを量子化する量子化手段と、上記量子化手段から
の予測誤差の係数データに対して上記決定手段によって
決定されたスキャン方法でスキャン処理を実行して、ス
キャン処理後の予測誤差の係数データを出力するスキャ
ン手段と、上記スキャン手段から出力されるスキャン処
理後の予測誤差の係数データをエントロピー符号化し
て、符号化された予測誤差の係数データを画像予測復号
化装置に送信する符号化手段と、上記量子化手段からの
予測誤差の係数データを逆量子化して、復元されたブロ
ックの係数データを出力する逆量子化手段と、上記決定
手段から出力される予測ブロックの係数データを、上記
逆量子化手段から出力される予測誤差の係数データに加
算することにより、復元されたブロックの係数データを
出力するとともに、上記ブロックメモリに格納する第2
の加算手段と、上記第2の加算手段から出力されるブロ
ックの係数データを逆変換することにより、復元された
ブロックの画像データを生成する逆変換手段とを備え
る。従って、隣接するブロックを越えて変換領域の中の
冗長性を削減又は除去するのに非常に効果的であり、使
用ビットのビット数を削減し、その結果、符号化の効率
を大幅に改善することができる。これは新しいビデオ圧
縮アルゴリズムにおけるツールとしても有用である。As described above in detail, according to the image predictive encoding apparatus of the present invention, a dividing means for dividing inputted encoded image data into image data of a plurality of adjacent small areas, When encoding the image data of the small area to be processed among the image data of the plurality of small areas adjacent to each other divided by the dividing means, the reproduced image adjacent to the image data of the small area to be processed is encoded. The image data of the playback small area is set as the image data of the intra-screen prediction small area of the processing target small area, the image data of the intra-screen prediction small area is set as the image data of the optimal prediction small area, First generating means for generating image data of a difference small area which is a difference between the image data and the image data of the optimal predicted small area, and encoding the image data of the difference small area generated by the generating means with a code Encoding means for decoding, decoding means for decoding the image data of the small difference area encoded by the encoding means, and image data of the small difference area decoded by the decoding means in the optimal prediction. Second generating means for generating image data of the reproduced small area reproduced by adding the image data to the image data of the small area. Therefore, a high-precision prediction signal can be easily generated with a small amount of computation compared to the related art simply by using the reproduced pixel value adjacent to the image data of the small area to be processed as the pixel value of the intra-screen prediction signal. And the unique effect that the number of bits for intra-frame encoding can be reduced is obtained. Further, according to the image prediction encoding apparatus of the present invention, the sampling means for sampling the input image signal into image data of a plurality of blocks each including a pixel value of a two-dimensional array, and the image signal sampled by the sampling means Conversion means for converting the image data of the block into coefficient data of a predetermined conversion area; a block memory for storing the coefficient data of the restored block; and coefficient data of the previously reconstructed block stored in the block memory A prediction unit that forms coefficient data of a plurality of prediction blocks based on the coefficient data of the block converted by the conversion unit, based on the coefficient data of the plurality of prediction blocks formed by the prediction unit. The coefficient data of the efficient prediction block is determined, selected and output, and the selected Determining means for transmitting an indicator representing a prediction block to the image prediction decoding apparatus in the form of an instruction bit, and subtracting coefficient data of the prediction block selected by the determination means from coefficient data of the current block at the present time. A first adding means for outputting coefficient data of a prediction error of a subtraction result, a quantizing means for quantizing coefficient data of a prediction error output from the first adding means, and a prediction from the quantizing means. Encoding means for entropy encoding the error coefficient data, and transmitting the encoded prediction error coefficient data to the image prediction decoding apparatus,
An inverse quantization unit that inversely quantizes the coefficient data of the prediction error from the quantization unit and outputs the restored coefficient data of the block; and an inverse quantization unit that outputs the coefficient data of the prediction block output from the determination unit. Adding to the coefficient data of the prediction error outputted from the converting means, thereby outputting the restored coefficient data of the block and storing the data in the block memory; and outputting from the second adding means Inverse transform means for inversely transforming the coefficient data of the block to be generated to generate image data of the restored block. Therefore, it is possible to provide a new image prediction encoding device and image prediction decoding device that increase the current encoding efficiency. In this device, no complicated means is required to increase the coding efficiency, and the circuit configuration can be formed very simply and easily. Further, according to the image prediction encoding apparatus of the present invention, the sampling means for sampling the input image signal into image data of a plurality of blocks each including a pixel value of a two-dimensional array, and the image signal sampled by the sampling means Conversion means for converting the image data of the block into coefficient data of a predetermined conversion area; a block memory for storing the coefficient data of the restored block; and coefficient data of the previously reconstructed block stored in the block memory A prediction unit that forms coefficient data of a plurality of prediction blocks based on the coefficient data of the block converted by the conversion unit, based on the coefficient data of the plurality of prediction blocks formed by the prediction unit. Efficient prediction block coefficient data and scan method are determined, selected and output. Determining means for transmitting an indicator indicating the selected prediction block and the scanning method to the image prediction decoding apparatus in the form of an indication bit; and transmitting coefficient data of the prediction block selected by the determination means at the current time. First adding means for outputting coefficient data of a prediction error resulting from the subtraction by subtracting the coefficient data of the block, and quantization means for quantizing the coefficient data of the prediction error output from the first adding means Scanning means for performing scan processing on the coefficient data of the prediction error from the quantization means by the scanning method determined by the determination means, and outputting coefficient data of the prediction error after the scan processing; Entropy coding is performed on the coefficient data of the prediction error after the scanning process output from the scanning means, and the encoded prediction error Encoding means for transmitting the number data to the image predictive decoding device; dequantizing means for dequantizing the coefficient data of the prediction error from the quantizing means and outputting the coefficient data of the restored block; By adding the coefficient data of the prediction block output from the determination means to the coefficient data of the prediction error output from the inverse quantization means, the coefficient data of the restored block is output and stored in the block memory. Second
And an inverse transforming means for inversely transforming the coefficient data of the block output from the second adding means to generate image data of the restored block. Therefore, it is very effective in reducing or eliminating redundancy in the transform domain beyond adjacent blocks, reducing the number of bits used, and thereby greatly improving the coding efficiency. be able to. This is also useful as a tool in new video compression algorithms.
【図1】 本発明に係る第1の実施形態である画像予測
符号化装置の構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of an image prediction encoding device according to a first embodiment of the present invention.
【図2】 図1の画像予測符号化装置に入力される入力
画像を8×8のブロックに分割した場合の模式図であ
る。FIG. 2 is a schematic diagram when an input image input to the image predictive encoding device in FIG. 1 is divided into 8 × 8 blocks.
【図3】 図1の画像予測符号化装置に入力される入力
画像を三角領域に分割した場合の模式図である。FIG. 3 is a schematic diagram when an input image input to the image predictive encoding device in FIG. 1 is divided into triangular regions.
【図4】 図1の画像予測符号化装置に用いられる予測
信号発生器の第1の実施例の構成を示すブロック図であ
る。FIG. 4 is a block diagram showing a configuration of a first embodiment of a prediction signal generator used in the image prediction encoding device of FIG. 1;
【図5】 図1の画像予測符号化装置に用いられる予測
信号発生器の第2の実施例の構成を示すブロック図であ
る。FIG. 5 is a block diagram showing a configuration of a second embodiment of the prediction signal generator used in the image prediction encoding device of FIG. 1;
【図6】 図1の画像予測符号化装置に用いられる予測
信号発生器の第3の実施例の構成を示すブロック図であ
る。FIG. 6 is a block diagram illustrating a configuration of a third embodiment of the prediction signal generator used in the image prediction encoding device in FIG. 1;
【図7】 図1の画像予測符号化装置に用いられる予測
信号発生器の第4の実施例の構成を示すブロック図であ
る。FIG. 7 is a block diagram illustrating a configuration of a fourth embodiment of the prediction signal generator used in the image prediction encoding device in FIG. 1;
【図8】 本発明に係る第2の実施形態である画像予測
符号化装置の構成を示すブロック図である。FIG. 8 is a block diagram illustrating a configuration of an image prediction encoding device according to a second embodiment of the present invention.
【図9】 図1及び図8の画像予測符号化装置に入力さ
れる入力画像であって、有意である画素を有する入力画
像の一例を示す模式図である。FIG. 9 is a schematic diagram illustrating an example of an input image input to the image predictive encoding device of FIGS. 1 and 8 and having significant pixels.
【図10】 図1及び図8の画像予測符号化装置に入力
される入力画像であって、有意である画素を有する入力
画像の一例を示す模式図である。FIG. 10 is a schematic diagram showing an example of an input image input to the image predictive encoding device of FIGS. 1 and 8, which has significant pixels.
【図11】 図1及び図8の画像予測符号化装置に入力
される入力画像であって、有意でない画素を有する入力
画像の一例を示す模式図である。FIG. 11 is a schematic diagram showing an example of an input image input to the image predictive encoding device of FIGS. 1 and 8 and having an insignificant pixel;
【図12】 本発明に係る第3の実施形態である画像予
測復号化装置の構成を示すブロック図である。FIG. 12 is a block diagram illustrating a configuration of an image prediction decoding device according to a third embodiment of the present invention.
【図13】 本発明に係る第4の実施形態である画像予
測復号化装置の構成を示すブロック図である。FIG. 13 is a block diagram illustrating a configuration of an image prediction decoding device according to a fourth embodiment of the present invention.
【図14】 従来技術の画像予測符号化装置の構成を示
すブロック図である。FIG. 14 is a block diagram illustrating a configuration of a conventional image prediction encoding device.
【図15】 画面内予測のための適応的DCT変換領域
を説明するための画像の模式図である。FIG. 15 is a schematic diagram of an image for explaining an adaptive DCT transform area for intra prediction.
【図16】 本発明に係る第5の実施形態である画像予
測符号化装置の構成を示すブロック図である。FIG. 16 is a block diagram illustrating a configuration of an image prediction encoding device according to a fifth embodiment of the present invention.
【図17】 本発明に係る第6の実施形態である画像予
測符号化装置の構成を示すブロック図である。FIG. 17 is a block diagram illustrating a configuration of an image prediction encoding device according to a sixth embodiment of the present invention.
【図18】 図16及び図17のDCT変換領域予測回
路の構成を示すブロック図である。FIG. 18 is a block diagram illustrating a configuration of a DCT transform area prediction circuit in FIGS. 16 and 17;
【図19】 図18のDCT変換領域予測回路における
DC/AC予測の符号化方法の一例を示す画像の模式図
である。19 is a schematic diagram of an image showing an example of an encoding method of DC / AC prediction in the DCT transform domain prediction circuit of FIG.
【図20】 本発明に係る第7の実施形態である画像予
測復号化装置の構成を示すブロック図である。FIG. 20 is a block diagram illustrating a configuration of an image prediction decoding device according to a seventh embodiment of the present invention.
【図21】 図20の画像予測復号化装置におけるDC
/AC予測の復号化方法を示すフローチャートである。21 is a diagram showing DC in the image prediction decoding apparatus of FIG.
It is a flowchart which shows the decoding method of / AC prediction.
【図22】 従来技術の画像予測符号化装置の構成を示
すブロック図である。FIG. 22 is a block diagram illustrating a configuration of a conventional image prediction encoding device.
【図23】 従来技術の画像予測復号化装置の構成を示
すブロック図である。FIG. 23 is a block diagram illustrating a configuration of a conventional image prediction decoding apparatus.
【図24】 本発明に係る第8の実施形態である画像予
測符号化装置の構成を示すブロック図である。FIG. 24 is a block diagram illustrating a configuration of an image prediction encoding device according to an eighth embodiment of the present invention.
【図25】 本発明に係る第8の実施形態である画像予
測復号化装置の構成を示すブロック図である。FIG. 25 is a block diagram illustrating a configuration of an image prediction decoding apparatus according to an eighth embodiment of the present invention.
【図26】 第8の実施形態における、フレームのマク
ロブロックとブロックの構造を示し、かつブロック予測
方法を示す画像の模式図である。FIG. 26 is a schematic diagram of an image showing a structure of a macroblock and a block of a frame and showing a block prediction method in the eighth embodiment.
【図27】 第8の実施形態における係数スキャンに用
いられる水平スキャンの順序を説明するための画像の模
式図である。FIG. 27 is a schematic diagram of an image for explaining the order of horizontal scanning used for coefficient scanning in the eighth embodiment.
【図28】 第8の実施形態における係数スキャンに用
いられる垂直スキャンの順序を説明するための画像の模
式図である。FIG. 28 is a schematic diagram of an image for explaining the order of vertical scanning used for coefficient scanning in the eighth embodiment.
【図29】 第8の実施形態における係数スキャンに用
いられるジグザグスキャンの順序を説明するための画像
の模式図である。FIG. 29 is a schematic diagram of an image for explaining the order of zigzag scanning used for coefficient scanning in the eighth embodiment.
【図30】 第8の実施形態に使用されているモード決
定処理を示すフローチャートである。FIG. 30 is a flowchart showing a mode determination process used in the eighth embodiment.
【図31】 第8の実施形態の暗黙モード決定における
ブロックの関係を示す画像の模式図である。FIG. 31 is a schematic diagram of an image showing a relationship between blocks in an implicit mode determination according to the eighth embodiment.
101…入力端子、 102…第1の加算器、 103…符号化器、 104…DCT変換器、 105…量子化器、 106…出力端子、 107…復号化器、 108…逆量子化器、 109…逆DCT変換器、 110…第2の加算器、 111…ラインメモリ、 112…予測信号発生器、 200…ブロック、 300,301…三角形、 401,402…発生器、 403,404…画像データ、 500…加算器、 601,602,603…誤差計算器、 604…比較器、 605…スイッチ、 700…動き検出器、 701…動き補償器、 702…フレームメモリ、 703…最適モード選択器、 800,804…形状曲線、 802,805,810…処理対象の小領域、 808…曲線、 901…入力端子、 902…データ解析器、 903…復号化器、 904…逆量子化器、 905…逆DCT変換器、 906…加算器、 907…出力端子、 908…コントローラ、 909…動き補償器、 910…予測信号発生器、 911…ラインメモリ、 912…フレームメモリ、 913…スイッチ、 922…予測信号発生器、 923…動き補償器、 990…形状復号化器、 1001…ブロックサンプリングユニット、 1002…動き検出ユニット、 1003…補償ユニット、 1004…DCT変換器、 1005…量子化ユニット、 1006…エントロピー符号化ユニット、 1007…レートコントローラ、 1008,1009…ユニット、 1010…ローカル復号化フレームメモリ、 1011…基準フレームメモリ、 1012…ブロックサンプリングユニット、 1013…加算器、 1014…DCT変換ユニット、 1015…量子化ユニット、 1016…加算器、 1017…DCT変換領域予測ユニット、 1018…ブロックメモリ、 1019…加算器、 1020…エントロピーVLC符号化ユニット、 1021…逆量子化ユニット、 1022…逆DCT変換ユニット、 1023…加算器、 1024…フレームメモリ、 1025…動き検出及び補償ユニット、 1026…ブロックサンプリングユニット、 1027…加算器、 1028…DCT変換ユニット、 1029…加算器、 1030…量子化ユニット、 1031…DCT変換領域予測ユニット、 1032…ブロックメモリ、 1033…逆量子化ユニット、 1034…エントロピーVLC符号化ユニット、 1035…加算器、 1036…逆DCT変換ユニット、 1037…加算器、 1038…フレームメモリ、 1040…ブロックメモリ、 1041…ユニット、 1042…No−Predブロック、 1043…Up−Predブロック、 1044…Left−Predブロック、 1045…Other−Predブロック、 1048,1049,1050…ユニット、 1051…エントロピーVLD復号化ユニット、 1052…加算器、 1053…DCT変換領域予測ユニット、 1054…ブロックメモリ、 1055…逆DCT変換ユニット、 1056…加算器、 1057…動き検出及び補償ユニット、 1059…逆量子化ユニット、 1101,1102…カレントブロック、 2031…ブロックサンプリングユニット、 2032…加算器、 2033…DCT変換ユニット、 2034…量子化ユニット、 2035…加算器、 2036…H/V/Zスキャンユニット、 2037…エントロピーVLC符号化ユニット、 2038…加算器、 2039…ブロックメモリ、 2040…DCT変換領域予測ユニット、 2041…逆量子化ユニット、 2042…逆DCT変換ユニット、 2043…加算器、 2044…フレーメモリ、 2045…動き検出及び補償ユニット、 2051…可変長デコーダユニット、 2052…H/V/Zスキャンユニット、 2053…加算器、 2054…ブロックメモリ、 2055…DCT変換領域予測ユニット、 2056…逆量子化ユニット、 2057…逆DCT変換ユニット、 2058…加算器、 2059…フレームメモリ、 2060…動き検出及び補償ユニット、 2061…ブロックメモリ、 2062…減算ユニット、 2063…H/V/Zスキャンユニット、 2064…エントロピー符号化ユニット、 2065…比較ユニット、 2066…選択ユニット、 B0…カレントブロック、 B1…左上のブロック、 B2…上のブロック、 B3…右上のブロック、 B4…左のブロック。 Reference numeral 101: input terminal, 102: first adder, 103: encoder, 104: DCT converter, 105: quantizer, 106: output terminal, 107: decoder, 108: inverse quantizer, 109 ... Inverse DCT converter, 110 ... Second adder, 111 ... Line memory, 112 ... Predicted signal generator, 200 ... Block, 300,301 ... Triangle, 401,402 ... Generator, 403,404 ... Image data, 500: adder, 601, 602, 603: error calculator, 604: comparator, 605: switch, 700: motion detector, 701: motion compensator, 702: frame memory, 703: optimal mode selector, 800, 804: shape curve, 802, 805, 810: small area to be processed, 808: curve, 901: input terminal, 902: data analyzer, 903: 904, an inverse quantizer, 905, an inverse DCT converter, 906, an adder, 907, an output terminal, 908, a controller, 909, a motion compensator, 910, a prediction signal generator, 911, a line memory, 912: frame memory, 913: switch, 922: prediction signal generator, 923: motion compensator, 990: shape decoder, 1001: block sampling unit, 1002: motion detection unit, 1003: compensation unit, 1004: DCT transform Unit 1005 quantization unit 1006 entropy coding unit 1007 rate controller 1008 1009 unit 1010 local decoding frame memory 1011 reference frame memory 1012 block sampling unit 1013 adder 1014 DCT transform unit, 1015 quantizer unit, 1016 adder, 1017 DCT transform area prediction unit, 1018 block memory, 1019 adder, 1020 entropy VLC encoding unit, 1021 inverse quantization unit, 1022 ... Inverse DCT transform unit, 1023 ... Adder, 1024 ... Frame memory, 1025 ... Motion detection and compensation unit, 1026 ... Block sampling unit, 1027 ... Adder, 1028 ... DCT transform unit, 1029 ... Adder, 1030 ... Quantum 1031 DCT transform region prediction unit 1032 Block memory 1033 Inverse quantization unit 1034 Entropy VLC encoding unit 1035 Adder 1036 Inverse DCT transform unit , 1037 ... adder, 1038 ... frame memory, 1040 ... block memory, 1041 ... unit, 1042 ... No-Pred block, 1043 ... Up-Pred block, 1044 ... Left-Pred block, 1045 ... Other-Pred block, 1048, 1049, 1050 unit, 1051 entropy VLD decoding unit, 1052 adder, 1053 DCT transform domain prediction unit, 1054 block memory, 1055 inverse DCT transform unit, 1056 adder, 1057 motion detection And compensation unit, 1059 ... inverse quantization unit, 1101, 1102 ... current block, 2031 ... block sampling unit, 2032 ... adder, 2033 ... DCT transform unit, 2 34 quantization unit 2035 adder 2036 H / V / Z scan unit 2037 entropy VLC coding unit 2038 adder 2039 block memory 2040 DCT transform area prediction unit 2041 inverse Quantization unit 2042 inverse DCT transform unit 2043 adder 2044 frame memory 2045 motion detection and compensation unit 2051 variable length decoder unit 2052 H / V / Z scan unit 2053 adder , 2054 block memory, 2055 DCT transform area prediction unit, 2056 inverse quantization unit, 2057 inverse DCT transform unit, 2058 adder, 2059 frame memory, 2060 motion detection and compensation unit, 2061 block Memory, 2062 subtraction unit, 2063 H / V / Z scan unit, 2064 entropy coding unit, 2065 comparison unit, 2066 selection unit, B0 current block, B1 upper left block, B2 upper block , B3: Upper right block, B4: Left block.
フロントページの続き (72)発明者 ティオ ケン・タン シンガポール国シンガポール470601,ベ ドック・リザーバー・ロード ブロック 601 08−506番 (56)参考文献 特開 昭63−187185(JP,A) 特開 平2−65583(JP,A) 特開 平10−224804(JP,A) 特開 平10−108188(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 H04N 1/14 - 1/419 Continuation of the front page (72) Inventor Tio Ken Tan Singapore 470601, Singapore, Bedok Reservoir Road Block 601 08-506 (56) Reference JP-A-63-187185 (JP, A) JP-A-2 -65583 (JP, A) JP-A-10-224804 (JP, A) JP-A-10-108188 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) H04N 7/ 24- 7/68 H04N 1/14-1/419
Claims (2)
の変換係数に変換する変換ステップと、 上記変換された2次元列の変換係数を量子化して、量子
化された変換係数を得る量子化ステップと、 カレントブロックに隣接する上ブロック(A)又は左ブ
ロック(B)のいずれかから上記カレントブロックのA
C係数を予測すべき予測ブロックを適応的に選択するス
テップと、 上記予測ブロックのAC係数について、カレントブロッ
クの量子化ステップサイズと予測ブロックの量子化ステ
ップサイズの比によりスケーリングを行うステップと、 上記スケーリングされた予測ブロックのAC係数から、
上記カレントブロックのAC係数を予測してAC予測誤
差を求めるステップと、 上記AC係数予測で求められたAC予測誤差を可変長符
号化するステップと、を含むことを特徴とする画像予測
符号化方法。 1. A two-dimensional sequence of image data which is divided into blocks.
A conversion step of converting the conversion coefficient into a conversion coefficient of
A quantization step of obtaining a transformed coefficient, and an upper block (A) or a left block adjacent to the current block.
A of the current block from one of the locks (B)
A switch for adaptively selecting a prediction block whose C coefficient is to be predicted.
Step and the AC coefficient of the prediction block
Quantization step size and prediction block quantization step size.
Scaling by the ratio of the map size and the AC coefficient of the scaled prediction block,
The AC coefficient of the current block is predicted to
Calculating the difference, and calculating the AC prediction error obtained by the AC coefficient prediction using a variable-length code.
Encoding the image.
Encoding method.
装置であって、 ブロック化された画像データを2次元列の変換係数に変
換する変換器と、 上記2次元列の変換係数を量子化して、量子化された変
換係数を得る量子化器と、 カレントブロックに隣接する上ブロック(A)又は左ブ
ロック(B)のいずれかから上記カレントブロックのA
C係数を予測すべき予測ブロックを適応的に選択する選
択手段と、 上記予測ブロックのAC係数について、カレントブロッ
クの量子化ステップサイズと予測ブロックの量子化ステ
ップサイズの比によりスケーリングを行うスケーリング
手段と、 上記スケーリングされた予測ブロックのAC係数から、
上記カレントブロックのAC係数を予測してAC予測誤
差を求めるAC係数予測手段と、 上記AC係数予測手段で求められたAC予測誤差を可変
長符号化する可変長符号化器と、 を含むことを特徴とする画像予測符号化装置。 2. An image predictive coding method for coding image data.
An apparatus for converting image data that has been blocked into two-dimensional sequence conversion coefficients.
And a conversion unit that quantizes the conversion coefficient of the two-dimensional sequence and converts the quantized conversion coefficient.
A quantizer for obtaining a permutation coefficient and an upper block (A) or a left block adjacent to the current block.
A of the current block from one of the locks (B)
Selection of adaptively selecting a prediction block for predicting a C coefficient
Selection means and the AC coefficient of the prediction block
Quantization step size and prediction block quantization step size.
Scaling that scales according to the ratio of the tap size
Means, and from the AC coefficients of the scaled prediction block,
The AC coefficient of the current block is predicted to
And AC coefficient predicting means for obtaining a difference, the AC prediction error obtained by the AC coefficient prediction unit variable
And a variable-length encoder for performing long encoding .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002081148A JP3343554B1 (en) | 1996-05-28 | 2002-03-22 | Image prediction decoding method and image prediction encoding device |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13297096 | 1996-05-28 | ||
JP17642696 | 1996-07-05 | ||
JP25467796 | 1996-09-26 | ||
JP8-176426 | 1996-09-26 | ||
JP8-254677 | 1996-09-26 | ||
JP8-132970 | 1996-09-26 | ||
JP2002081148A JP3343554B1 (en) | 1996-05-28 | 2002-03-22 | Image prediction decoding method and image prediction encoding device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000186294A Division JP3851063B2 (en) | 1996-05-28 | 2000-06-21 | Image predictive decoding method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP3343554B1 true JP3343554B1 (en) | 2002-11-11 |
JP2002335532A JP2002335532A (en) | 2002-11-22 |
Family
ID=27471730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002081148A Expired - Lifetime JP3343554B1 (en) | 1996-05-28 | 2002-03-22 | Image prediction decoding method and image prediction encoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3343554B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007043651A (en) | 2005-07-05 | 2007-02-15 | Ntt Docomo Inc | Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program |
CN101218829A (en) * | 2005-07-05 | 2008-07-09 | 株式会社Ntt都科摩 | Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program |
JP4802928B2 (en) * | 2006-08-09 | 2011-10-26 | ソニー株式会社 | Image data processing device |
-
2002
- 2002-03-22 JP JP2002081148A patent/JP3343554B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002335532A (en) | 2002-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3118237B1 (en) | Picture prediction decoding method | |
JP3857298B2 (en) | Image predictive coding apparatus and method, and image predictive decoding apparatus and method | |
JP3343554B1 (en) | Image prediction decoding method and image prediction encoding device | |
JP2002359852A (en) | Device and method for predictive decoding of image | |
JP3157144B1 (en) | Picture prediction decoding method | |
JP3343553B1 (en) | Image prediction coding apparatus and method | |
JP3851317B2 (en) | Image predictive coding method and apparatus | |
JP3857297B2 (en) | Image predictive coding method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070823 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080823 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080823 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090823 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090823 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100823 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110823 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110823 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120823 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130823 Year of fee payment: 11 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313133 |
|
SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |