JPH10304373A - Moving image decoding method and moving image decoder - Google Patents
Moving image decoding method and moving image decoderInfo
- Publication number
- JPH10304373A JPH10304373A JP10962197A JP10962197A JPH10304373A JP H10304373 A JPH10304373 A JP H10304373A JP 10962197 A JP10962197 A JP 10962197A JP 10962197 A JP10962197 A JP 10962197A JP H10304373 A JPH10304373 A JP H10304373A
- Authority
- JP
- Japan
- Prior art keywords
- prediction error
- decoding
- motion compensation
- image
- decoding process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、予測符号化信号を
復号化するための動画像復号方法及び動画像復号装置に
関する。The present invention relates to a moving picture decoding method and a moving picture decoding apparatus for decoding a prediction coded signal.
【0002】[0002]
【従来の技術】近年、MPEG2などの動画像符号化方
式がディジタル放送やパッケージメディア等において活
用されつつある。MPEG2の画像符号化方式及び復号
化方式については、刊行本である「最新MPEG教科
書」(アスキー出版局)に詳述されている。2. Description of the Related Art In recent years, moving picture coding systems such as MPEG2 have been used in digital broadcasting and package media. The image encoding method and the decoding method of MPEG2 are described in detail in the latest book, "Latest MPEG Textbook" (ASCII).
【0003】MPEG2規格においては、直交変換処
理、量子化処理及び可変長符号化処理によって画像デー
タを圧縮する。直交変換は、入力される標本値を空間周
波数成分等の直交成分に変換するものであり、m×n画
素のブロック単位でDCT(離散コサイン変換)処理等
を行う。これにより空間的な相関成分が削減可能とな
る。直交変換された成分は量子化することにより、ブロ
ックの信号の冗長度を削減している。In the MPEG2 standard, image data is compressed by an orthogonal transformation process, a quantization process, and a variable length coding process. The orthogonal transform is for transforming an input sample value into an orthogonal component such as a spatial frequency component, and performs DCT (discrete cosine transform) processing or the like for each block of m × n pixels. Thereby, a spatial correlation component can be reduced. The components subjected to the orthogonal transformation are quantized to reduce the redundancy of the signal of the block.
【0004】更に、量子化出力にハフマン符号化等の可
変長符号化を施すことにより、データ量を一層削減す
る。ハフマン符号化は、量子化出力の統計的符号量から
算出した結果に基づいて符号化を行うものであり、出現
確率が高いデータには短いビットを割当て、出現確率が
低いデータには長いビットを割当てる可変長符号化によ
って全体のデータ量を削減する。Further, the data amount is further reduced by subjecting the quantized output to variable length coding such as Huffman coding. In Huffman coding, coding is performed based on the result calculated from the statistical code amount of a quantized output, and short bits are assigned to data with a high occurrence probability and long bits are assigned to data with a low occurrence probability. The entire data amount is reduced by the variable length coding to be assigned.
【0005】更に、MPEG2においては、フレーム内
の画像をDCT処理するフレーム内圧縮の外に、フレー
ム間の相関を利用して時間軸方向の冗長度を削減するフ
レーム間圧縮も採用する。フレーム間圧縮は、一般の動
画像が前後のフレームでよく似ているという性質を利用
して、前後のフレームの差分を求め差分値(予測誤差)
を符号化することによって、ビットレートを一層低減さ
せるものである。特に、画像の動きを予測してフレーム
間差を求めることにより予測誤差を低減する動き補償フ
レーム間予測符号化が有効である。なお、動き補償予測
に用いた動きベクトルのデータは、可変長符号化して多
重出力するようになっている。[0005] In MPEG2, in addition to intra-frame compression in which an image in a frame is subjected to DCT processing, inter-frame compression for reducing redundancy in the time axis direction using correlation between frames is also employed. The inter-frame compression uses the property that a general moving image is very similar in the preceding and succeeding frames, and calculates a difference between the preceding and succeeding frames to obtain a difference value (prediction error).
Is encoded, thereby further reducing the bit rate. In particular, motion-compensated inter-frame predictive coding that reduces the prediction error by estimating the motion of an image and calculating the inter-frame difference is effective. The motion vector data used for the motion compensation prediction is variable-length coded and multiplexed.
【0006】このように、MPEG2では、所定フレー
ムの画像データをそのままDCT処理して符号化するフ
レーム内符号化の外に、所定フレームの画像データとこ
のフレーム前後のフレームの参照画像データとの差分デ
ータのみをDCT処理して符号化する予測符号化とを採
用する。予測符号化方法としては、時間的に前方向の参
照画像データを動き補償して予測誤差を求める前方予測
符号化と、時間的に後方向の参照画像データを動き補償
して予測誤差を求める後方予測符号化と、符号化効率を
考慮して、前方若しくは後方のいずれか一方又は両方向
の平均を用いた両方向予測符号化とがある。As described above, according to MPEG2, in addition to intra-frame encoding in which image data of a predetermined frame is directly subjected to DCT processing and encoding, a difference between image data of a predetermined frame and reference image data of frames before and after this frame is obtained. Predictive coding in which only data is subjected to DCT processing and coding is adopted. The prediction encoding method includes forward prediction encoding for obtaining a prediction error by performing motion compensation on temporally forward reference image data, and backward prediction for obtaining a prediction error by performing motion compensation on temporally backward reference image data. There are predictive coding and bidirectional predictive coding using either forward or backward or an average in both directions in consideration of coding efficiency.
【0007】なお、MPEGエンコーダにおいて処理す
る輝度信号と色差信号とはサンプリングクロックが相違
する。例えば、色差信号のサンプリングクロックが輝度
信号のサンプリングクロックの1/4の周波数であるも
のとすると、輝度ブロックと色差ブロックの大きさの比
は1:4となる。この場合には、輝度4ブロックと色差
各1ブロックずつとの6DCTブロックによってマクロ
ブロックを構成して符号化の単位とする。動きベクトル
の検出もマクロブロック単位で行われる。DCTブロッ
クが8×8画素の大きさであるものとすると、輝度信号
と色信号とは別々に処理するので、1マクロブロックの
大きさは16×16画素となる。The sampling clock differs between the luminance signal and the color difference signal processed by the MPEG encoder. For example, assuming that the sampling clock of the color difference signal has a frequency that is 1/4 of the sampling clock of the luminance signal, the size ratio between the luminance block and the color difference block is 1: 4. In this case, a macroblock is composed of 6 DCT blocks of 4 blocks of luminance and 1 block of each chrominance, and is used as an encoding unit. Motion vector detection is also performed on a macroblock basis. Assuming that the DCT block has a size of 8 × 8 pixels, the luminance signal and the chrominance signal are processed separately, so that the size of one macroblock is 16 × 16 pixels.
【0008】動きベクトルの検出においては、現フレー
ムの符号化を行うべき注目ブロック(マクロブロック)
に対して相対的な位置関係が同一である参照フレームの
ブロックを中心とした所定の探索範囲を設定する。そし
て、マッチング計算によって、現フレームの注目ブロッ
クのパターンに最も類似したパターンのブロックを探索
範囲内で探索する。つまり、探索範囲内でブロックを
0.5画素単位で移動させながら順次設定し、注目ブロ
ックと探索範囲に設定したブロックとの間で対応する各
画素同士の差分の絶対値を累積するマッチング計算を行
い、最も累積値が小さいブロックを参照マクロブロック
とする。参照マクロブロックと注目ブロックとの位置関
係を示すベクトルを動きベクトルとして求めるようにな
っている。In detecting a motion vector, a target block (macro block) to be coded in the current frame
A predetermined search range centered on a block of the reference frame having the same relative positional relationship with respect to is set. Then, a block having a pattern most similar to the pattern of the target block in the current frame is searched for in the search range by matching calculation. That is, a matching calculation is performed in which the blocks are sequentially set within the search range while moving in units of 0.5 pixels, and the absolute value of the difference between each corresponding pixel between the block of interest and the block set in the search range is calculated. Then, the block having the smallest cumulative value is set as a reference macro block. A vector indicating the positional relationship between the reference macroblock and the block of interest is determined as a motion vector.
【0009】図14はこのようなMPEG2規格に対応
した従来の動画像復号装置を示すブロック図である。ま
た、図15は動き補償予測復号処理を説明するためのフ
ローチャートである。FIG. 14 is a block diagram showing a conventional moving picture decoding apparatus conforming to the MPEG2 standard. FIG. 15 is a flowchart for explaining the motion compensation prediction decoding process.
【0010】入力端子1を介して入力された符号化デー
タは可変長復号化回路(以下、VLDという)2に供給
される。入力された符号化データは、画像データ又は予
測誤差をDCT処理して量子化した後、可変長符号化し
たものである。VLD2は入力された符号化データを可
変長復号化して、符号化側の可変長符号化処理前のデー
タに戻す。VLD2の出力に含まれる動きベクトルは仮
想アドレス生成回路10に供給され、量子化出力は逆量子
化回路(以下、IQという)3に供給される。[0010] The coded data input via the input terminal 1 is supplied to a variable length decoding circuit (hereinafter referred to as VLD) 2. The input coded data is obtained by subjecting image data or a prediction error to DCT processing, quantizing, and then performing variable-length coding. The VLD 2 performs variable-length decoding on the input coded data, and returns the data before the variable-length coding processing on the coding side. The motion vector included in the output of the VLD 2 is supplied to a virtual address generation circuit 10, and the quantized output is supplied to an inverse quantization circuit (hereinafter, referred to as IQ) 3.
【0011】IQ3はVLD2の出力を逆量子化して振
幅方向に伸張した後、逆DCT回路(以下、IDCT)
4に出力する。IDCT4は逆量子化出力を逆DCT処
理して符号化側のDCT処理前のデータに戻す。IDC
T4の出力は加算器5を介してメモリデータバス6に転
送され、更に、画像メモリ7に転送される。[0011] IQ3 dequantizes the output of VLD2 and expands it in the amplitude direction, and then an inverse DCT circuit (hereinafter referred to as IDCT).
4 is output. The IDCT 4 performs an inverse DCT process on the inversely quantized output and returns the data before the DCT process on the encoding side. IDC
The output of T4 is transferred to the memory data bus 6 via the adder 5, and further transferred to the image memory 7.
【0012】いま、フレーム内符号化された符号化デー
タを復号するものとする。この場合には、IDCT4の
出力はフレームの復元画像であり、IDCT4の出力は
加算器5を介してそのまま画像メモリ7に供給される。
IDCT4の出力はブロック単位の画素データであり、
画像メモリ7は1フレーム分の画素データをライン単位
で記憶する。Now, assume that the intraframe encoded data is decoded. In this case, the output of the IDCT 4 is a restored image of the frame, and the output of the IDCT 4 is supplied to the image memory 7 via the adder 5 as it is.
The output of IDCT4 is pixel data in block units,
The image memory 7 stores pixel data for one frame in line units.
【0013】なお、加算器5からの復元画像データを動
き補償予測復号化の参照画像として用いる場合には、復
元画像データは、画像メモリ7の参照メモリ8に記憶さ
せ、参照画像として用いない場合には復元メモリ9に記
憶させるようになっている。When the restored image data from the adder 5 is used as a reference image for motion-compensated prediction decoding, the restored image data is stored in the reference memory 8 of the image memory 7 and is not used as a reference image. Is stored in the restoration memory 9.
【0014】画像メモリ7の書込み及び読出しは、物理
アドレス生成回路11によって制御される。物理アドレス
生成回路11は、復号されたマクロブロックの画面上の位
置に応じた画像メモリ7上の位置を示す書込みアドレス
を発生する。この場合には、物理アドレス生成回路11
は、メモリ使用量によって決定されるオフセット値を加
算するようになっている。The writing and reading of the image memory 7 are controlled by a physical address generation circuit 11. The physical address generation circuit 11 generates a write address indicating a position on the image memory 7 corresponding to the position of the decoded macro block on the screen. In this case, the physical address generation circuit 11
Add an offset value determined by the memory usage.
【0015】一方、物理アドレス生成回路11は、参照画
像の読出しアドレスについては、仮想アドレス生成回路
10の出力に基づいて生成する。仮想アドレス生成回路10
はVLD2からの動きベクトルデータに基づいて、復号
するブロックが参照した参照マクロブロックの画面上の
位置(以下、画面アドレスという)を算出する。物理ア
ドレス生成回路11は、画面アドレスを参照マクロブロッ
クの参照メモリ8上の位置(以下、読出しアドレスとい
う)に変換して、参照メモリ8の読出しを行うようにな
っている。On the other hand, the physical address generation circuit 11 provides a virtual address generation circuit for the read address of the reference image.
Generate based on 10 outputs. Virtual address generation circuit 10
Calculates the position on the screen of the reference macroblock referred to by the block to be decoded (hereinafter referred to as the screen address) based on the motion vector data from the VLD2. The physical address generation circuit 11 reads the reference memory 8 by converting the screen address into a position of the reference macro block on the reference memory 8 (hereinafter, referred to as a read address).
【0016】ここで、フレーム間符号化された符号化デ
ータを復号化するものとする。この場合には、IDCT
4の出力は予測誤差であり、この予測誤差と参照画像を
加算することによって、元の画像を復元することができ
る。この場合には、符号化時に用いた動きベクトルによ
って参照画像を動き補償した後予測誤差に加算する。な
お、以下、参照画像の読み出しからハーフペル処理及び
予測誤差との加算処理までの一連の処理を動き補償復号
処理という。Here, it is assumed that the inter-frame coded data is decoded. In this case, IDCT
The output of 4 is a prediction error, and the original image can be restored by adding the prediction error and the reference image. In this case, the reference image is motion-compensated with the motion vector used at the time of encoding, and then added to the prediction error. Hereinafter, a series of processes from the reading of the reference image to the half-pel process and the process of adding the prediction error are referred to as motion compensation decoding.
【0017】動き補償復号処理は図15の処理フローに
基づいて行われる。先ず、図15のステップS1 におい
てマクロブロックの番号を示すkを1に初期化する。次
に、ステップS2 において、仮想アドレス生成回路10
は、VLD2から動きベクトルの情報及び符号化不要情
報を取得する。The motion compensation decoding processing is performed based on the processing flow of FIG. First, in step S1 of FIG. 15, k indicating the number of a macroblock is initialized to 1. Next, in step S2, the virtual address generation circuit 10
Acquires the motion vector information and the encoding unnecessary information from the VLD2.
【0018】図16及び図17は符号化不要情報を説明
するための説明図である。FIG. 16 and FIG. 17 are explanatory diagrams for explaining the encoding unnecessary information.
【0019】符号化不要情報は、所定のマクロブロック
に対する符号化処理を省略することができることを示す
情報であり、例えばMPEG方式では、MBA(Macro
Block Address)、MBT(Macro Block Type)及びC
BP(Coded Block Pattern)等がある。この符号化不
要情報は符号化データに挿入されて伝送される。復号化
側では、符号化不要情報によって符号化処理が省略され
ているか否かを判別する。The coding unnecessary information is information indicating that coding processing for a predetermined macroblock can be omitted. For example, in the MPEG system, MBA (Macro
Block Address), MBT (Macro Block Type) and C
BP (Coded Block Pattern) and the like. This encoding unnecessary information is inserted into encoded data and transmitted. The decoding side determines whether or not the encoding process has been omitted based on the encoding unnecessary information.
【0020】MBAは、復号しようとするマクロブロッ
クの前に何個のマクロブロックの符号化処理がスキップ
されたかを表す。スキップは、Bピクチャ(両方向予測
符号化フレーム)については前のブロックと動きベクト
ルが一致し且つ予測誤差が0であることを示し、Pピク
チャ(前方向予測符号化フレーム)については動きベク
トルが0で且つ予測誤差も0であることを示す。The MBA indicates how many macroblocks are skipped before the macroblock to be decoded. The skip indicates that the motion vector matches the previous block for the B picture (bidirectionally coded frame) and the prediction error is 0, and the motion vector is 0 for the P picture (forward coded frame). And the prediction error is also 0.
【0021】MBTは、復号しようとするマクロブロッ
クが予測誤差及び動き情報のうちのいずれの情報を有し
ているかを表している。[0021] The MBT indicates which of the prediction error and the motion information the macroblock to be decoded has.
【0022】また、CBPは、マクロブロック内の複数
のDCTブロックのうちのいずれのDCTブロックが予
測誤差を有しているかを表す。CBPでは、マクロブロ
ック内の各DCTブロックに所定の数値(以下、DCT
ブロック内数値という)を割り当て、DCTブロック内
数値の合計によってDCTブロックを特定するようにな
っている。図16はDCTブロック内数値の割り当てを
示している。The CBP indicates which of the plurality of DCT blocks in the macroblock has a prediction error. In CBP, a predetermined numerical value (hereinafter, DCT) is assigned to each DCT block in a macroblock.
A DCT block is specified by the sum of the numerical values in the DCT block. FIG. 16 shows the assignment of numerical values in the DCT block.
【0023】図16に示すように、1マクロブロックを
構成する4個の輝度ブロックYと各1個ずつの色差ブロ
ックCb,Crに夫々DCTブロック内数値として32,
16,8,4,2,1が割り当てられている。As shown in FIG. 16, four luminance blocks Y and one chrominance block Cb and Cr constituting one macroblock are respectively represented by 32,
16, 8, 4, 2, and 1 are assigned.
【0024】図17は図16と同様の表示法によって、
水平方向に連続した第1乃至第7マクロブロックを示し
ている。図17において斜線で示したDCTブロック
は、DCTブロック内の8×8の全ての予測誤差値が0
でない非零ブロックを示している。各マクロブロック内
の非零ブロックは、DCT内ブロック内数値の和である
CBPによって、図17のように示すことができる。例
えば、第3及び第4マクロブロックは非零ブロックを有
しておらず、CBPが0であることが示されている。FIG. 17 shows the same notation as FIG.
The first to seventh macro blocks continuous in the horizontal direction are shown. In the DCT block shown by hatching in FIG. 17, all 8 × 8 prediction error values in the DCT block are 0.
Is a non-zero block. A non-zero block in each macroblock can be represented as shown in FIG. 17 by CBP which is a sum of numerical values in blocks in DCT. For example, the third and fourth macroblocks do not have non-zero blocks, indicating that the CBP is zero.
【0025】図17のdMVは、前マクロブロックとの
動きベクトルの差分値を示し、現マクロブロックが前マ
クロブロックと同一の動きである場合には0となる。図
17のMBTは○印によってCBP,dMV≠0を示
し、△印によってdMV≠0を示し、□印によってCB
P≠0を示し、×印によってCBP,dMV=0を示し
ている。例えば、第4マクロブロックはdMV,CBP
が0であるので、MBTは×印となっている。即ち、M
BTが×印のマクロブロックは、符号化処理すべき情報
を有していないことを示しており、図17の第4マクロ
ブロックは符号化処理はスキップされる。The dMV in FIG. 17 indicates a difference value of a motion vector from a previous macro block, and becomes 0 when the current macro block has the same motion as the previous macro block. The MBT in FIG. 17 indicates CBP, dMV ≠ 0 by a circle, dMV ≠ 0 by a triangle, and CB by a square.
P ≠ 0, CBP, dMV = 0 by X mark. For example, the fourth macro block is dMV, CBP
Is 0, the MBT is marked with a cross. That is, M
A macroblock with a BT mark x indicates that it has no information to be coded, and the coding process is skipped for the fourth macroblock in FIG.
【0026】MBAは符号化処理がスキップされていな
いマクロブロックが何マクロブロック前に存在するかを
示しており、例えば、第5マクロブロックについては、
2マクロブロック前の第3マクロブロックの符号化処理
がスキップされていないことが示されている。従って、
前マクロブロックのMBTが×印の場合には、MBAは
2以上の値をとることになる。The MBA indicates the number of macroblocks before which the coding process has not been skipped. For example, for the fifth macroblock,
This shows that the encoding process of the third macroblock two macroblocks before is not skipped. Therefore,
If the MBT of the previous macroblock is indicated by a mark x, the MBA takes a value of 2 or more.
【0027】なお、MPEGにおいては、MBAはマク
ロブロックの水平方向の位置を示すこともある。Note that in MPEG, the MBA may indicate the horizontal position of a macroblock.
【0028】仮想アドレス生成回路10は、VLD2から
取得した動きベクトルの情報及び符号化不要情報に基づ
いて、符号化側で予測誤差を得るために参照された参照
マクロブロックの画面アドレスを算出する(ステップS
3 )。この画面アドレスは物理アドレス生成回路11に与
えられて、ステップS4 において参照メモリ8の読出し
アドレスが生成される。こうして、ステップS5 で参照
メモリ8からは動き補償された参照マクロブロックが読
出されてハーフペル演算回路12に供給される。The virtual address generation circuit 10 calculates a screen address of a reference macro block referred to to obtain a prediction error on the encoding side based on the motion vector information and the encoding unnecessary information acquired from the VLD 2 ( Step S
3). This screen address is given to the physical address generation circuit 11, and the read address of the reference memory 8 is generated in step S4. In this way, the motion-compensated reference macroblock is read from the reference memory 8 in step S5 and supplied to the half-pel operation circuit 12.
【0029】ところで、符号化側においては、動きベク
トルの精度を画素単位の1/2にすることができる。動
きベクトルによって、参照画像として画素間の値が指定
された場合には、参照メモリ8から読出された参照画像
データを補間して、隣接する画素同士の中間の値を得る
必要がある。このため、ハーフペル演算回路12は参照画
像データに対する内挿補間演算(ハーフペル演算)を行
って加算器5に出力する。なお、内挿補間を考慮する
と、参照メモリ8から1マクロブロックよりも1画素分
だけ広い範囲の参照画像データを読出す必要がある。On the coding side, the accuracy of the motion vector can be reduced to half of the pixel unit. When a value between pixels is specified as a reference image by a motion vector, it is necessary to interpolate the reference image data read from the reference memory 8 to obtain an intermediate value between adjacent pixels. Therefore, the half-pel operation circuit 12 performs an interpolation operation (half-pel operation) on the reference image data and outputs the result to the adder 5. In consideration of the interpolation, it is necessary to read out the reference image data from the reference memory 8 in a range wider by one pixel than one macroblock.
【0030】加算器5は、ステップS6 において、ハー
フペル演算回路12から出力される動き補償されて内挿補
間された参照画像データと予測誤差とを加算することに
より、元の画像を復元する。復元画像はメモリデータバ
ス6を介して画像メモリ7の復元メモリ9に格納される
(ステップS7 )。この場合には、物理アドレス生成回
路11は、復号中のマクロブロックの画面アドレスが仮想
アドレス生成回路10から供給され、この画面アドレスか
ら復元メモリ9の書込みアドレスを生成して、復元メモ
リ9に供給する。In step S6, the adder 5 restores the original image by adding the motion-compensated and interpolated reference image data output from the half-pel operation circuit 12 and the prediction error. The restored image is stored in the restored memory 9 of the image memory 7 via the memory data bus 6 (Step S7). In this case, the physical address generation circuit 11 receives the screen address of the macroblock being decoded from the virtual address generation circuit 10, generates a write address of the restoration memory 9 from this screen address, and supplies the write address to the restoration memory 9. I do.
【0031】以後同様にして復号化が行われる。ステッ
プS8 において、全マクロブロックの復号処理が終了す
るか否かが判断される。復号処理が終了していない場合
には、ステップS9 においてマクロブロックの番号kを
インクリメントして処理をステップS2 に戻す。Thereafter, decoding is performed in the same manner. In step S8, it is determined whether or not decoding of all macroblocks is completed. If the decoding process has not been completed, the macroblock number k is incremented in step S9, and the process returns to step S2.
【0032】動き補償復号処理が終了すると、ステップ
S10以降の表示処理が行われる。ステップS10におい
て、仮想アドレス生成回路10は画像メモリ7から読出す
復元画像の画面アドレスを生成し、物理アドレス生成回
路11は画面アドレスを読み出しアドレスに変換する(ス
テップS11)。こうして、ステップS12において画像メ
モリ7から復元画像の読み出しが行われる。When the motion compensation decoding process is completed, a display process after step S10 is performed. In step S10, the virtual address generation circuit 10 generates a screen address of the restored image read from the image memory 7, and the physical address generation circuit 11 converts the screen address into a read address (step S11). Thus, the readout of the restored image from the image memory 7 is performed in step S12.
【0033】画像メモリ7から読出された復元画像デー
タは表示バッファ13に供給され、表示バッファ13から表
示順に読出されて出力端子14を介して出力される。ステ
ップS13では復元画像についての表示処理が終了したか
否かが判断される。表示処理が終了していない場合には
処理をステップS10に戻して、処理を繰返す。こうし
て、復元画像の表示が行われる。The restored image data read from the image memory 7 is supplied to the display buffer 13, read out from the display buffer 13 in display order, and output via the output terminal 14. In step S13, it is determined whether the display process for the restored image has been completed. If the display process has not been completed, the process returns to step S10, and the process is repeated. Thus, the display of the restored image is performed.
【0034】なお、出力端子14からの復元画像データを
図示しない表示装置に与えることにより、復元画像を表
示させることができる。また、動き補償復号処理はマク
ロブロック単位で行われるのに対し、表示はライン単位
で行われることから、表示バッファ13がブロックスキャ
ン順からラインスキャン順への並べ替えの機能を有する
こともある。By supplying the restored image data from the output terminal 14 to a display device (not shown), the restored image can be displayed. Also, since the motion compensation decoding processing is performed in units of macroblocks, while the display is performed in units of lines, the display buffer 13 may have a function of rearranging from block scan order to line scan order.
【0035】このように、図14の装置においては、動
き補償復号処理のために、予測誤差の有無によらず、マ
クロブロック毎に、参照メモリ8からの参照マクロブロ
ックの読み出し処理、予測誤差の加算処理及び復元画像
の復元メモリ9又は参照メモリ8への書き込み処理を行
っており、画像メモリ7に対するアクセス回数が極めて
多く、処理時間が長く、また、メモリデータバス6のバ
ス占有率が極めて高いという問題点があった。As described above, in the apparatus shown in FIG. 14, for the motion compensation decoding process, regardless of the presence or absence of the prediction error, the reading process of the reference macro block from the reference memory 8 and the prediction error The addition processing and the writing processing of the restored image to the restoration memory 9 or the reference memory 8 are performed, the number of accesses to the image memory 7 is extremely large, the processing time is long, and the bus occupancy of the memory data bus 6 is extremely high. There was a problem.
【0036】特に、MPEG規格で採用されている双方
向予測されたBピクチャにおいては、1マクロブロック
の復号処理に参照マクロブロックの2回の読み出しを行
う必要があり、復号処理に要する時間が長く、また、バ
ス占有率が著しく高い。In particular, in a B picture that has been bidirectionally predicted according to the MPEG standard, it is necessary to read a reference macroblock twice for decoding one macroblock, and the decoding process takes a long time. And the bus occupancy is significantly higher.
【0037】従って、回路に必要なメモリ容量を低減す
るために、画像メモリ7を他の機能、例えば、OSD
(On Screen Display )等に用いるメモリとして利用し
ようとしても、バス占有率が高いことから兼用すること
ができないという問題があった。Therefore, in order to reduce the memory capacity required for the circuit, the image memory 7 is replaced with another function such as an OSD.
(On Screen Display) There is a problem that even if an attempt is made to use the memory as a memory for use in, for example, the bus occupancy is high, the memory cannot be shared.
【0038】[0038]
【発明が解決しようとする課題】このように、上述した
従来の動画像復号装置においては、参照マクロブロック
の読出しによって復号処理に長時間を要すると共に、画
像メモリのバス占有率が極めて高く、画像メモリを他の
機能用として兼用することが困難であるという問題点が
あった。As described above, in the conventional moving picture decoding apparatus described above, the decoding process takes a long time by reading the reference macroblock, and the bus occupancy of the picture memory is extremely high. There is a problem that it is difficult to use the memory for other functions.
【0039】本発明はかかる問題点に鑑みてなされたも
のであって、復号処理を高速化することができると共
に、画像メモリのバス占有率を低減することにより、画
像メモリを他の機能用として兼用することを可能にし
て、回路規模を低減することができる動画像復号方法及
び動画像復号装置を提供することを目的とする。The present invention has been made in view of such a problem, and can speed up the decoding process and reduce the bus occupancy of the image memory so that the image memory can be used for other functions. It is an object of the present invention to provide a moving picture decoding method and a moving picture decoding apparatus which can be used for both purposes and can reduce the circuit scale.
【0040】[0040]
【課題を解決するための手段】本発明の請求項1に係る
動画像復号方法は、現画像と参照画像との予測誤差を用
いた動き補償予測符号化によって所定のブロック単位で
符号化された符号化信号の前記予測誤差の大きさを示す
予測誤差値を検出する手順と、前記符号化信号から前記
参照画像を得ると共に、前記予測誤差の大きさに基づい
て動き補償復号処理をスキップさせながら前記参照画像
と前記予測誤差とを用いて復号画像を得る復号手順と、
前記復号手順において動き補償復号処理がスキップされ
た場合には前記復号画像の出力に際して前記参照画像を
前記復号画像として出力する出力手順とを具備したもの
であり、本発明の請求項6に係る動画像復号装置は、現
画像と参照画像との予測誤差を用いた動き補償予測符号
化によって所定のブロック単位で符号化された符号化信
号が入力され、所定の復号処理によって復号画像を得る
復号手段と、前記復号画像を参照画像として保持する記
憶手段と、前記所定の復号処理の過程で得られる前記予
測誤差の大きさを検出して検出結果を出力する予測誤差
検出手段と、前記検出結果に基づいて前記記憶手段から
の参照画像と前記予測誤差との加算処理を省略して、前
記復号手段の所定の復号処理のうちの動き補償復号処理
をスキップさせるスキップ手段と、前記スキップ手段に
よって動き補償復号処理がスキップされた場合には前記
復号画像の出力に際して前記記憶手段に保持されている
参照画像を前記復号画像として出力する出力手段とを具
備したものである。According to a first aspect of the present invention, there is provided a moving picture decoding method comprising the steps of: performing motion compensation prediction coding using a prediction error between a current picture and a reference picture; A procedure for detecting a prediction error value indicating the magnitude of the prediction error of the encoded signal, and obtaining the reference image from the encoded signal, while skipping the motion compensation decoding process based on the magnitude of the prediction error. A decoding procedure for obtaining a decoded image using the reference image and the prediction error,
An output step of outputting the reference image as the decoded image when outputting the decoded image when the motion compensation decoding process is skipped in the decoding procedure. The image decoding apparatus receives a coded signal coded in a predetermined block unit by motion compensation prediction coding using a prediction error between a current image and a reference image, and obtains a decoded image by a predetermined decoding process. Storage means for holding the decoded image as a reference image, prediction error detection means for detecting the magnitude of the prediction error obtained in the course of the predetermined decoding processing and outputting a detection result, The addition processing of the reference image from the storage unit and the prediction error is skipped based on the motion compensation decoding process of the predetermined decoding process of the decoding unit. Kipping means, and output means for outputting the reference image held in the storage means as the decoded image when outputting the decoded image when the motion compensation decoding process is skipped by the skip means. is there.
【0041】本発明の請求項1においては、符号化信号
の予測誤差の大きさを示す予測誤差値が検出される。復
号手順においては、予測誤差の大きさに基づいて動き補
償復号処理を行うか否かが決定される。動き補償復号処
理では参照画像と予測誤差との加算によって復号画像が
得られる。動き補償復号処理がスキップされることによ
って、動き補償復号処理の処理時間が短縮される。動き
補償復号処理がスキップされた場合には、参照画像は得
られるが復号画像は得られない。そこで、出力手順にお
いては、動き補償復号処理がスキップされた場合には参
照画像を復号画像として出力する。予測誤差値の大きさ
に基づいて動き補償復号処理がスキップされているの
で、参照画像を復号画像として出力する場合でも、復号
画像の画質に与える影響は小さい。According to the first aspect of the present invention, a prediction error value indicating the magnitude of the prediction error of the encoded signal is detected. In the decoding procedure, whether or not to perform the motion compensation decoding process is determined based on the magnitude of the prediction error. In the motion compensation decoding process, a decoded image is obtained by adding a reference image and a prediction error. By skipping the motion compensation decoding process, the processing time of the motion compensation decoding process is reduced. When the motion compensation decoding process is skipped, a reference image is obtained but a decoded image is not obtained. Therefore, in the output procedure, when the motion compensation decoding process is skipped, the reference image is output as a decoded image. Since the motion compensation decoding process is skipped based on the magnitude of the prediction error value, even when the reference image is output as a decoded image, the effect on the image quality of the decoded image is small.
【0042】本発明の請求項6において、符号化信号は
復号手段によって復号されて復号画像が得られる。この
復号画像は参照画像として記憶手段に記憶される。参照
画像は所定の復号処理のうちの動き補償復号処理によっ
て予測誤差と加算されることにより、復号画像が復元さ
れる。予測誤差検出手段は復号処理の過程で得られる予
測誤差の大きさを検出する。スキップ手段は予測誤差の
大きさの検出結果に基づいて動き補償復号処理をスキッ
プする。これにより、復号処理に要する時間が短縮され
る。出力手段は、動き補償復号処理がスキップされた場
合には、記憶手段に記憶されている参照画像を復号画像
として出力する。According to the sixth aspect of the present invention, the encoded signal is decoded by the decoding means to obtain a decoded image. This decoded image is stored in the storage unit as a reference image. The decoded image is restored by adding the reference image to the prediction error by the motion compensation decoding process of the predetermined decoding process. The prediction error detection means detects the magnitude of the prediction error obtained in the course of the decoding process. The skip unit skips the motion compensation decoding process based on the detection result of the magnitude of the prediction error. Thereby, the time required for the decoding process is reduced. The output unit outputs the reference image stored in the storage unit as a decoded image when the motion compensation decoding process is skipped.
【0043】[0043]
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。図1は本発明に係る
動画像復号装置の一実施の形態を示すブロック図であ
る。図1において図14と同一の構成要素には同一符号
を付してある。Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 is a block diagram showing an embodiment of a moving picture decoding apparatus according to the present invention. In FIG. 1, the same components as those in FIG. 14 are denoted by the same reference numerals.
【0044】復元画像の画質評価値としては、原信号と
復元画像信号との比であるS.N.R(Signal to Nois
e Ratio )が用いられている。マクロブロック内の各画
像データの各予測誤差値の総和が零又は零近傍の値であ
る場合又は予測誤差値が零又は零近傍の値である画像デ
ータの総数が零又は零近傍の値である場合等には、予測
誤差を参照マクロブロックに加算することなく、参照画
像をそのまま復元画像として出力しても、復号画像の
S.N.Rへの影響は極めて小さい。この理由から、本
実施の形態においては、参照画像と予測誤差との加算処
理を省略することにより、復号処理を高速化するように
したものである。The image quality evaluation value of the restored image is the ratio between the original signal and the restored image signal. N. R (Signal to Nois
e Ratio). When the sum of the prediction error values of the respective image data in the macroblock is zero or near zero, or the total number of image data in which the prediction error value is zero or near zero is zero or near zero. In such a case, even if the reference image is output as a restored image without adding the prediction error to the reference macroblock, the S.I. N. The effect on R is extremely small. For this reason, in this embodiment, the decoding process is speeded up by omitting the process of adding the reference image and the prediction error.
【0045】図1において入力端子1には符号化データ
が入力される。この符号化データは、例えば、DCT処
理、量子化処理及び可変長符号化処理によって作成され
たものであり、フレーム内符号化処理だけでなく、前方
又は後方フレームの参照画像を用いた片方向予測符号化
処理及び両方向フレームの参照画像を用いた両方向予測
符号化処理が行われている。また、符号化データには予
測符号化時に用いた動きベクトルの情報及び符号化不要
情報が可変長符号化されて多重されている。In FIG. 1, coded data is input to an input terminal 1. This coded data is created by, for example, DCT processing, quantization processing, and variable-length coding processing. In addition to intra-frame coding processing, unidirectional prediction using a reference image of a forward or backward frame is performed. An encoding process and a bidirectional prediction encoding process using a reference image of a bidirectional frame are performed. The encoded data is multiplexed with the information of the motion vector used in the predictive encoding and the unnecessary information for encoding, which are variable-length encoded.
【0046】入力端子1を介して入力された符号化デー
タはVLD2に供給される。VLD2は入力された符号
化データを可変長復号化して、符号化側の可変長符号化
処理前のデータに戻す。これにより、VLD2からは量
子化出力、動きベクトルのデータ及び符号化不要情報が
得られる。VLD2は、量子化出力をIQ3に供給し、
動きベクトル及び符号化不要情報を仮想アドレス生成回
路10に供給する。The encoded data input through the input terminal 1 is supplied to the VLD 2. The VLD 2 performs variable-length decoding on the input coded data, and returns the data before the variable-length coding processing on the coding side. As a result, a quantized output, data of a motion vector, and unnecessary coding information are obtained from the VLD 2. VLD2 provides the quantized output to IQ3,
The motion vector and the encoding unnecessary information are supplied to the virtual address generation circuit 10.
【0047】IQ3はVLD2の出力を逆量子化して振
幅方向に伸張した後、IDCT4に出力する。IDCT
4は逆量子化出力を逆DCT処理して符号化側のDCT
処理前のデータに戻す。IDCT4の出力は閾値以下検
出回路21を介して加算器5に与えられる。閾値以下検出
回路21は、予測誤差が所定の閾値T以下であるか否かを
検出する。IQ3 dequantizes the output of VLD2 and expands it in the amplitude direction, and then outputs it to IDCT4. IDCT
4 is an inverse DCT processing of the inversely quantized output and a DCT on the encoding side.
Return to the data before processing. The output of the IDCT 4 is supplied to the adder 5 via the below-threshold detection circuit 21. The below-threshold detecting circuit 21 detects whether or not the prediction error is below a predetermined threshold T.
【0048】加算器5は、IDCT4の出力がフレーム
内符号化データに基づくものである場合にはIDCT4
の出力をそのままスイッチ22に与え、IDCT4の出力
がフレーム間符号化データに基づく予測誤差である場合
には入力された予測誤差に後述するハーフペル演算回路
12の出力を加算してスイッチ22に出力する。スイッチ22
は、端子aを選択することにより加算器5の出力をセレ
クタ23に与え、端子bを選択することにより加算器5の
出力をメモリデータバス6を介して参照メモリ8に供給
するようになっている。When the output of the IDCT 4 is based on the intra-frame coded data, the adder 5 outputs the IDCT 4
Is output to the switch 22 as it is, and when the output of the IDCT 4 is a prediction error based on the inter-frame coded data, a half-pel operation circuit to be described later is added to the input prediction error.
The twelve outputs are added and output to the switch 22. Switch 22
Supplies the output of the adder 5 to the selector 23 by selecting the terminal a, and supplies the output of the adder 5 to the reference memory 8 via the memory data bus 6 by selecting the terminal b. I have.
【0049】参照メモリ8は、スイッチ22からメモリデ
ータバス6を介して復元画像データが与えられ、この復
元画像データを参照画像データとして記憶するようにな
っている。参照メモリ8は、物理アドレス生成回路11に
書込み及び読出しが制御される。物理アドレス生成回路
11は仮想アドレス生成回路10の出力に基づいて参照メモ
リ8のブロック化位置を指定することにより、動き補償
された参照画像データをマクロブロック単位で読出し
て、ハーフペル演算回路12に出力するようになってい
る。The reference memory 8 is supplied with restored image data from the switch 22 via the memory data bus 6, and stores the restored image data as reference image data. The writing and reading of the reference memory 8 are controlled by the physical address generation circuit 11. Physical address generation circuit
Reference numeral 11 designates a block position of the reference memory 8 based on the output of the virtual address generation circuit 10 so that the motion-compensated reference image data is read in macroblock units and output to the half-pel operation circuit 12. ing.
【0050】仮想アドレス生成回路10は、VLD2から
動きベクトルの情報が与えられており、動きベクトルの
情報に基づいて、復号するマクロブロックが参照した参
照マクロブロックの画面上の位置を算出する。仮想アド
レス生成回路10は求めた画面アドレスを物理アドレス生
成回路11に出力するようになっている。The virtual address generation circuit 10 receives the motion vector information from the VLD 2 and calculates the position on the screen of the reference macroblock referred to by the macroblock to be decoded, based on the motion vector information. The virtual address generation circuit 10 outputs the obtained screen address to the physical address generation circuit 11.
【0051】ハーフペル演算回路12は参照メモリ8から
の動き補償された参照画像データをハーフペル演算によ
って補間処理して加算器5に出力する。加算器5はID
CT4から予測誤差の復元画像データが入力された場合
には、ハーフペル演算回路12から参照画像データを読出
して加算することにより、元の画像を復元して出力する
ようになっている。The half-pel operation circuit 12 interpolates the motion-compensated reference image data from the reference memory 8 by half-pel operation and outputs the result to the adder 5. Adder 5 has ID
When the restored image data of the prediction error is input from CT4, the original image is restored and output by reading out and adding the reference image data from the half-pel operation circuit 12.
【0052】本実施の形態においては、ハーフペル演算
回路12の出力はセレクタ23にも与えられるようになって
いる。セレクタ23は、閾値以下検出回路21によって制御
される。即ち、セレクタ23は、予測誤差が閾値T以下で
ある場合にはハーフペル演算回路12の出力を選択して表
示バッファ19に出力し、予測誤差が閾値Tよりも大きい
場合にはスイッチ22からの加算器5の出力を選択して表
示バッファ19に出力するようになっている。表示バッフ
ァ19は復元画像データを表示タイミングまで保持して表
示順に出力端子14を介して出力するようになっている。In this embodiment, the output of the half-pel operation circuit 12 is also given to the selector 23. The selector 23 is controlled by the threshold detection circuit 21. That is, the selector 23 selects the output of the half-pel operation circuit 12 when the prediction error is equal to or smaller than the threshold T and outputs the output to the display buffer 19, and when the prediction error is larger than the threshold T, adds the output from the switch 22. The output of the device 5 is selected and output to the display buffer 19. The display buffer 19 holds the restored image data until the display timing and outputs the restored image data via the output terminal 14 in the display order.
【0053】次に、このように構成された実施の形態の
動作について図2のフローチャートを参照して説明す
る。図2は動き補償復号処理の処理フローを示してい
る。Next, the operation of the embodiment configured as described above will be described with reference to the flowchart of FIG. FIG. 2 shows a processing flow of the motion compensation decoding processing.
【0054】入力端子1を介して入力された符号化デー
タに対する可変長復号化処理、逆量子化処理及び逆DC
T処理は従来と同様である。符号化データに対する可変
長復号化処理によって、符号化側の可変長符号化処理前
のデータが得られる。VLD2は可変長復号化処理によ
って得た量子化出力をIQ3に出力し、動きベクトル及
び符号化不要情報を仮想アドレス生成回路10に出力す
る。Variable length decoding processing, inverse quantization processing and inverse DC processing for the encoded data input through the input terminal 1
The T processing is the same as the conventional one. By performing variable-length decoding on the encoded data, data before the variable-length encoding on the encoding side is obtained. The VLD 2 outputs the quantized output obtained by the variable length decoding process to the IQ 3, and outputs the motion vector and the coding unnecessary information to the virtual address generation circuit 10.
【0055】IQ3によって量子化出力は逆量子化処理
され、IDCT4によって逆量子化出力に逆DCT処理
が施される。これにより、符号化側のDCT処理前のデ
ータが得られる。The quantized output is inversely quantized by IQ3, and the inverse quantized output is subjected to inverse DCT processing by IDCT4. As a result, data before DCT processing on the encoding side is obtained.
【0056】符号化データがフレーム内符号化されたも
のである場合には、この符号化データに対するIDCT
4の出力は復元画像である。この場合には、IDCT4
の出力は閾値以下検出回路21を介して加算器5に供給さ
れ、更に、スイッチ22の端子bからメモリデータバス6
を介して参照メモリ8に供給される。If the encoded data has been intra-frame encoded, the IDCT for the encoded data
The output of No. 4 is a restored image. In this case, IDCT4
Is supplied to the adder 5 through the below-threshold detection circuit 21. Further, the output of the memory data bus 6
Is supplied to the reference memory 8 via the.
【0057】物理アドレス生成回路11は参照メモリ8に
書込みアドレスを与えて、メモリデータバス6を介して
転送された復元画像データを記憶させる。こうして、参
照メモリ8には参照画像データが格納される。The physical address generation circuit 11 gives a write address to the reference memory 8 and stores the restored image data transferred via the memory data bus 6. Thus, the reference image data is stored in the reference memory 8.
【0058】一方、符号化データがフレーム間符号化さ
れたものである場合には、IDCT4の出力は予測誤差
である。図2のステップS21において予測誤差値tが取
得されると、次に、参照画像が取得される(ステップS
22)。On the other hand, if the encoded data is inter-frame encoded, the output of the IDCT 4 is a prediction error. When the prediction error value t is obtained in step S21 of FIG. 2, next, a reference image is obtained (step S21).
twenty two).
【0059】即ち、フレーム間符号化された符号化デー
タが入力端子1を介して入力された場合には、VLD2
から動きベクトル情報が仮想アドレス生成回路10に供給
される。仮想アドレス生成回路10は、動きベクトル情報
に基づいて、参照マクロブロックの画面アドレスを算出
する。仮想アドレス生成回路10は生成した画面アドレス
を物理アドレス生成回路11に出力する。That is, when the coded data obtained by the inter-frame coding is input via the input terminal 1, the VLD2
, The motion vector information is supplied to the virtual address generation circuit 10. The virtual address generation circuit 10 calculates the screen address of the reference macro block based on the motion vector information. The virtual address generation circuit 10 outputs the generated screen address to the physical address generation circuit 11.
【0060】物理アドレス生成回路11は、仮想アドレス
生成回路10から与えられた画面アドレスを読出しアドレ
スに変換して、参照メモリ8に順次出力する。これによ
り、参照メモリ8からは、動き補償された参照マクロブ
ロックが読出され、メモリデータバス6を介してハーフ
ペル演算回路12に転送される。The physical address generation circuit 11 converts the screen address given from the virtual address generation circuit 10 into a read address and sequentially outputs the read address to the reference memory 8. As a result, the motion-compensated reference macroblock is read from the reference memory 8 and transferred to the half-pel operation circuit 12 via the memory data bus 6.
【0061】次に、ステップS23において、予測誤差t
が閾値T以下であるか否かが判定される。IDCT4か
らの予測誤差は閾値以下検出回路21に供給されて、予測
誤差tと閾値Tとが比較される。予測誤差tが閾値Tよ
りも大きい場合には、処理はステップS24に移行して、
予測誤差の加算が行われる。Next, in step S23, the prediction error t
Is less than or equal to the threshold value T. The prediction error from the IDCT 4 is supplied to the below-threshold detection circuit 21, and the prediction error t and the threshold T are compared. If the prediction error t is larger than the threshold T, the process proceeds to step S24,
The prediction error is added.
【0062】加算器5は閾値以下検出回路21からの予測
誤差とハーフペル演算回路12からの参照画像とを加算し
て元の画像を復元する。加算器5からの復元画像データ
は、スイッチ22の端子aを介してセレクタ23に供給され
る。この場合には、セレクタ23は閾値以下検出回路21に
制御されて端子aを選択しており、加算器5からの復元
画像データはセレクタ23から表示バッファ19に供給され
る。こうして、復元画像データは、ステップS25におい
て表示バッファ19から表示順に読出されて、出力端子14
を介して出力される。The adder 5 restores the original image by adding the prediction error from the below-threshold detection circuit 21 and the reference image from the half-pel operation circuit 12. The restored image data from the adder 5 is supplied to the selector 23 via the terminal a of the switch 22. In this case, the selector 23 selects the terminal a under the control of the below threshold value detection circuit 21, and the restored image data from the adder 5 is supplied from the selector 23 to the display buffer 19. Thus, the restored image data is read out from the display buffer 19 in the display order in step S25, and
Is output via.
【0063】一方、予測誤差tが閾値T以下である場合
には、処理はステップS23からステップS25に移行す
る。即ち、この場合には、予測誤差の加算処理は行われ
ず、ハーフペル演算回路12からの参照画像データはセレ
クタ23を介して表示バッファ19に与えられる。この場合
には、参照画像データが復元画像データとして表示バッ
ファ19に与えられることになる。ステップS25では、こ
の復元画像データが表示順に読出されて出力端子14に出
力される。上述したように、この場合には、参照画像デ
ータに基づく画像と復元画像データに基づく画像との
S.N.Rは略々同様の値となる。On the other hand, when the prediction error t is equal to or smaller than the threshold value T, the processing shifts from step S23 to step S25. That is, in this case, the addition processing of the prediction error is not performed, and the reference image data from the half-pel operation circuit 12 is provided to the display buffer 19 via the selector 23. In this case, the reference image data is provided to the display buffer 19 as restored image data. In step S25, the restored image data is read out in the display order and output to the output terminal 14. As described above, in this case, the S.P.M. of the image based on the reference image data and the S.M. N. R has substantially the same value.
【0064】ステップS26では動き補償復号処理が終了
したか否かが判断される。動き補償復号処理が終了して
いない場合には、ステップS21乃至ステップS25の処理
が繰返される。こうして、1画面の全ての復元画像デー
タが出力端子14から出力される。In step S26, it is determined whether the motion compensation decoding process has been completed. If the motion compensation decoding process has not been completed, the processes of steps S21 to S25 are repeated. Thus, all the restored image data of one screen is output from the output terminal 14.
【0065】このように、本実施の形態においては、予
測誤差が所定の閾値よりも小さい場合には、予測誤差と
の加算処理を行うことなく、動き補償された参照画像デ
ータを復元画像データとして出力しており、加算処理を
省略することによって、復号処理を高速化することがで
きる。As described above, in the present embodiment, when the prediction error is smaller than the predetermined threshold, the motion-compensated reference image data is used as the restored image data without adding the prediction error. The decoding process can be sped up by omitting the addition process.
【0066】図3は本発明の他の実施の形態に係る動画
像復号方法を示すフローチャートである。図3において
図2と同一の手順には同一符号を付して説明を省略す
る。FIG. 3 is a flowchart showing a moving picture decoding method according to another embodiment of the present invention. In FIG. 3, the same steps as those in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted.
【0067】本実施の形態は、動き補償復号処理におけ
る予測誤差値と閾値との比較をマクロブロック単位で行
うようにしたものである。他の復号化処理は図1の実施
の形態と同様である。また、本実施の形態は図1の実施
の形態における動画像復号装置と同様の構成によって実
現することができる。In the present embodiment, the comparison between the prediction error value and the threshold value in the motion compensation decoding process is performed on a macroblock basis. Other decoding processes are the same as in the embodiment of FIG. Further, the present embodiment can be realized by the same configuration as the moving picture decoding device in the embodiment of FIG.
【0068】図3のステップS31は、マクロブロック内
の予測誤差値tの総和として用いる変数Sを初期化する
処理である。ステップS32は変数Sに予測誤差値tを加
算する処理である。ステップS33においては、1マクロ
ブロックの全ての予測誤差値についてステップS21,32
の処理が終了したか否かを判断し、終了していない場合
にはステップS21に処理を戻すようになっている。Step S31 in FIG. 3 is a process for initializing a variable S used as the sum of the prediction error values t in the macroblock. Step S32 is processing to add the prediction error value t to the variable S. In step S33, steps S21 and S32 are performed for all prediction error values of one macroblock.
It is determined whether or not the process has ended, and if not, the process returns to step S21.
【0069】ステップS34はマクロブロック内の予測誤
差値tの総和Sが所定の閾値T1 以下であるか否かを判
定する処理である。総和Sが閾値T1 よりも大きい場合
には処理をステップS24に移行し、総和Sが閾値T1 以
下である場合にはステップS24の処理をスキップして処
理をステップS25に移行する。Step S34 is a process for judging whether or not the sum S of the prediction error values t in the macroblock is equal to or smaller than a predetermined threshold value T1. If the sum S is greater than the threshold T1, the process proceeds to step S24. If the sum S is less than the threshold T1, the process of step S24 is skipped and the process proceeds to step S25.
【0070】なお、図3の動き補償復号処理は、図1の
閾値以下検出回路21が予測誤差値を記憶するレジスタ
(又はメモリ)を1つ有し、1マクロブロック分の予測
誤差値を順次加算して総和Sを求め、求めた総和Sと閾
値T1 とを比較するようにすることによって実現可能で
ある。In the motion compensation decoding process of FIG. 3, the below-threshold detection circuit 21 of FIG. 1 has one register (or memory) for storing a prediction error value, and sequentially stores the prediction error values of one macroblock. This can be realized by adding the sum S to obtain the sum S and comparing the obtained sum S with the threshold value T1.
【0071】このように構成された実施の形態において
は、動き補償復号処理の動作のみが図1の実施の形態と
異なる。In the embodiment configured as described above, only the operation of the motion compensation decoding process is different from the embodiment of FIG.
【0072】先ず、図3のステップS31において、総和
の変数Sを0に初期化する。次に、ステップS21では予
測誤差値tが取得される。図1の入力端子1を介して入
力されたフレーム間符号化データはVLD2によって可
変長復号され、IQ3によって逆量子化処理され、更に
IDCT4によって逆DCT処理されて、予測誤差に戻
される。First, in step S31 of FIG. 3, the variable S of the sum is initialized to zero. Next, in step S21, a prediction error value t is obtained. The inter-frame coded data input via the input terminal 1 of FIG. 1 is subjected to variable length decoding by the VLD 2, inverse quantization by the IQ 3, inverse DCT by the IDCT 4, and returns to a prediction error.
【0073】予測誤差は画素単位で順次閾値以下検出回
路21に与えられる。閾値以下検出回路21は、ステップS
32、ステップS33及びステップS21によって予測誤差値
を順次加算して、マクロブロック内の予測誤差値の総和
Sを求める。The prediction error is sequentially applied to the detection circuit 21 below the threshold value in pixel units. The below-threshold detection circuit 21 determines in step S
At step 32, steps S33 and S21, the prediction error values are sequentially added to obtain the sum S of the prediction error values in the macroblock.
【0074】次のステップS22では参照画像が取得され
る。仮想アドレス生成回路10は動きベクトルに基づく画
面アドレスを求め、物理アドレス生成回路11は画面アド
レスを参照メモリ8の読出しアドレスに変換して、参照
メモリ8からの読出しを行う。参照メモリ8に記憶され
ている参照画像は、動きベクトルに基づくブロック化位
置でブロック化されて読出され、ハーフペル演算回路12
においてハーフペル演算処理される。In the next step S22, a reference image is obtained. The virtual address generation circuit 10 obtains a screen address based on the motion vector, and the physical address generation circuit 11 converts the screen address into a read address of the reference memory 8 and reads from the reference memory 8. The reference image stored in the reference memory 8 is read out after being blocked at a blocking position based on the motion vector and read out by the half-pel operation circuit 12.
Is subjected to half-pel operation processing.
【0075】ステップS34ではマクロブロック内の予測
誤差値の総和Sと閾値T1 とが比較される。総和Sが閾
値T1 よりも大きい場合には、次のステップS24におい
て、加算器5により予測誤差とハーフペル演算回路12と
の加算が行われる。セレクタ23は総和Sが閾値T1 より
も大きい場合にはスイッチ22の端子aを選択しており、
加算器5の出力はセレクタ23から表示バッファ19に供給
され、ステップS25において出力端子14に出力される。In step S34, the sum S of the prediction error values in the macroblock is compared with the threshold value T1. If the sum S is larger than the threshold value T1, the adder 5 adds the prediction error and the half-pel operation circuit 12 in the next step S24. The selector 23 selects the terminal a of the switch 22 when the sum S is larger than the threshold T1,
The output of the adder 5 is supplied from the selector 23 to the display buffer 19, and is output to the output terminal 14 in step S25.
【0076】一方、総和Sが閾値T1 以下である場合に
は、ステップS24の加算処理はスキップされ、処理はス
テップS25に移行する。即ち、この場合には、セレクタ
23はハーフペル演算回路12の出力を選択しており、動き
補償された参照画像は予測誤差との加算処理が行われる
ことなく、そのままセレクタ23から表示バッファ19に供
給されて、出力端子14から出力される。On the other hand, when the total sum S is equal to or smaller than the threshold value T1, the addition processing in step S24 is skipped, and the processing shifts to step S25. That is, in this case, the selector
Reference numeral 23 selects the output of the half-pel operation circuit 12, and the motion-compensated reference image is directly supplied from the selector 23 to the display buffer 19 without being subjected to the addition processing with the prediction error, and is output from the output terminal 14. Is done.
【0077】このように、本実施の形態においても、図
1の実施の形態と同様の効果を得ることができる。As described above, also in the present embodiment, the same effects as in the embodiment of FIG. 1 can be obtained.
【0078】図4は本発明の他の実施の形態を示すフロ
ーチャートである。図4において図3と同一の手順には
同一符号を付して説明を省略する。FIG. 4 is a flowchart showing another embodiment of the present invention. 4, the same steps as those in FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted.
【0079】本実施の形態は、動き補償復号処理におけ
る予測誤差値と閾値との比較方法が図3の実施の形態と
異なるのみである。This embodiment is different from the embodiment of FIG. 3 only in the method of comparing the prediction error value and the threshold value in the motion compensation decoding process.
【0080】図4のステップS41は、マクロブロック内
で所定の閾値T以下の予測誤差の数の総和として用いる
変数Kを初期化する処理である。ステップS42において
は予測誤差値tが閾値T以下であるか否かを判断する。
予測誤差値tが閾値T以下である場合には、ステップS
43の処理に移行し、そうでない場合にはステップS33に
移行する。ステップS43は予測誤差値tが閾値T以下で
ある回数である総数Kを求める処理である。ステップS
33によって1マクロブロックの全ての予測誤差について
ステップS21乃至S43の処理が行われたか否かが判断さ
れる。Step S41 in FIG. 4 is a process for initializing a variable K used as a total sum of the number of prediction errors equal to or smaller than a predetermined threshold T in a macroblock. In step S42, it is determined whether or not the prediction error value t is equal to or less than the threshold value T.
If the prediction error value t is equal to or smaller than the threshold value T, step S
The process moves to step 43, and if not, the process moves to step S33. Step S43 is processing for obtaining the total number K, which is the number of times that the prediction error value t is equal to or less than the threshold value T. Step S
It is determined by 33 whether or not the processing of steps S21 to S43 has been performed for all the prediction errors of one macroblock.
【0081】ステップS44はマクロブロック内の総数K
が所定の閾値P以下であるか否かを判定する処理であ
る。総和Sが閾値Pよりも大きい場合には処理をステッ
プS24に移行し、総数Kが閾値P以下である場合にはス
テップS24の処理をスキップして処理をステップS25に
移行する。In step S44, the total number K in the macroblock
Is a process for determining whether or not is less than or equal to a predetermined threshold value P. If the sum S is greater than the threshold value P, the process proceeds to step S24. If the total number K is equal to or less than the threshold value P, the process of step S24 is skipped and the process proceeds to step S25.
【0082】なお、図4の動き補償復号処理において
も、図1と同様の構成によって実現することができるこ
とは明らかである。It is apparent that the motion compensation decoding process of FIG. 4 can be realized by the same configuration as that of FIG.
【0083】このように構成された実施の形態において
は、動き補償復号処理の動作のみが図3の実施の形態と
異なる。In the embodiment configured as described above, only the operation of the motion compensation decoding process is different from the embodiment of FIG.
【0084】図4のステップS41において、総和の変数
Kを0に初期化する。次に、ステップS21では予測誤差
値tが画素単位で取得される。ステップS42では、取得
された予測誤差値tが閾値T以下であるか否かが判定さ
れる。予測誤差値tが閾値T以下である画素については
ステップS43において総数Kをインクリメントし、そう
でない画素についてはステップS43の処理をスキップす
る。こうして、ステップS21乃至S33によって、予測誤
差値tが閾値T以下である画素の総数Kが求められる。In step S41 of FIG. 4, a variable K of the sum is initialized to zero. Next, in step S21, a prediction error value t is obtained for each pixel. In step S42, it is determined whether or not the obtained prediction error value t is equal to or smaller than the threshold T. For pixels whose prediction error value t is equal to or smaller than the threshold value T, the total number K is incremented in step S43, and for pixels not so, the process of step S43 is skipped. In this way, the total number K of pixels for which the prediction error value t is equal to or smaller than the threshold value T is obtained through steps S21 to S33.
【0085】ステップS22では参照画像が取得され、ス
テップS44では総数Kが所定の閾値P以下であるか否か
が判定される。総数Kが閾値Pよりも大きい場合には、
ステップS24において参照画像と予測誤差との加算を行
う。総数Kが閾値P以下である場合には、参照画像と予
測誤差との加算を行うことなく、参照画像をステップS
25において復元画像データとして出力する。これによ
り、復元画像の画質を低下させることなく、参照画像と
予測誤差との加算処理を省略して、復号処理速度を高速
にすることができる。In step S22, a reference image is obtained. In step S44, it is determined whether or not the total number K is equal to or less than a predetermined threshold value P. If the total number K is larger than the threshold value P,
In step S24, the reference image and the prediction error are added. If the total number K is equal to or less than the threshold value P, the reference image is added to the reference image without adding the prediction error and the prediction error.
At 25, it is output as restored image data. As a result, the addition processing of the reference image and the prediction error can be omitted and the decoding processing speed can be increased without lowering the image quality of the restored image.
【0086】このように、本実施の形態においても図3
の実施の形態と同様の効果を得ることができる。As described above, also in this embodiment, FIG.
The same effect as that of the embodiment can be obtained.
【0087】図5は本発明の他の実施の形態に係る動画
像復号装置を示すブロック図である。図5において図1
と同一の構成要素には同一符号を付して説明を省略す
る。FIG. 5 is a block diagram showing a moving picture decoding apparatus according to another embodiment of the present invention. In FIG.
The same components as those described above are denoted by the same reference numerals and description thereof is omitted.
【0088】一般的な表示バッファとしては、画像デー
タを比較的短時間保持する容量しか有していない。従っ
て、I,Pピクチャのみを処理する場合のように、動き
補償復号処理によって得た復元画像データが、出力後の
若干の時間後に表示される場合には図1の実施の形態を
採用しても問題はないが、動き補償復号処理と表示処理
との間に例えば1フレーム時間のように長いタイムラグ
(時間差)が存在する場合又は長いタイムラグを設定する
場合には、図1の実施の形態は採用することができな
い。本実施の形態は、動き補償復号処理による復元画像
データを表示処理までの間保持する復元メモリを設けた
例に適用したものである。A general display buffer has only a capacity to hold image data for a relatively short time. Therefore, when the restored image data obtained by the motion compensation decoding process is displayed some time after the output, such as when only the I and P pictures are processed, the embodiment of FIG. Although there is no problem, there is a long time lag between the motion compensation decoding process and the display process, for example, one frame time.
When (time difference) exists or when a long time lag is set, the embodiment of FIG. 1 cannot be adopted. The present embodiment is applied to an example in which a restoration memory for holding restored image data by the motion compensation decoding process until the display process is provided.
【0089】なお、表示バッファ19に復元メモリと同量
の保持能力を付加することによっても、上述したタイム
ラグに適用することができることは明らかである。It is clear that the above-described time lag can be applied by adding the same capacity as the restoration memory to the display buffer 19.
【0090】閾値以下検出回路21は、予測誤差値tが閾
値T以下であるか否かを検出して検出結果をスキップ情
報保持回路31に出力する。なお、閾値以下検出回路21
は、図3のようにマクロブロック内の予測誤差値tの総
和Sが閾値T1 以下であるか否かを検出して検出結果を
スキップ情報保持回路31に出力してもよく、また、図4
のように、マクロブロック内で予測誤差値tが閾値T以
下となる画素の総数Kを求め、総数Kが閾値P以下であ
るか否かを検出して検出結果をスキップ情報保持回路31
に出力するようにしてもよい。The below-threshold detection circuit 21 detects whether or not the prediction error value t is below the threshold T, and outputs the detection result to the skip information holding circuit 31. In addition, the threshold detection circuit 21
4 may detect whether or not the sum S of the prediction error values t in the macroblock is equal to or smaller than the threshold value T1, and output the detection result to the skip information holding circuit 31, as shown in FIG.
, The total number K of pixels in which the prediction error value t is equal to or smaller than the threshold value T is determined, whether or not the total number K is equal to or smaller than the threshold value P, and the detection result is skipped.
May be output.
【0091】スキップ情報保持回路31には仮想アドレス
生成回路10の出力も与えられるようになっている。スキ
ップ情報保持回路31は、予測誤差値tが閾値T以下であ
ることが検出された場合には、物理アドレス生成回路33
からの読出しアドレスをスキップアドレスとして保持す
る。更に、スキップ情報保持回路31は、他の必要な情
報、例えば、復号するマクロブロックの番号k及びハー
フペル処理の有無に関する情報等も保持するようになっ
ている。The output of the virtual address generation circuit 10 is also supplied to the skip information holding circuit 31. When it is detected that the prediction error value t is equal to or smaller than the threshold value T, the skip information holding circuit 31
Is held as the skip address. Further, the skip information holding circuit 31 holds other necessary information, for example, information on the number k of the macroblock to be decoded and the presence / absence of half-pel processing.
【0092】スキップ情報保持回路31は、保持したスキ
ップアドレスに基づいて物理アドレス生成回路33を制御
する。物理アドレス生成回路33は仮想アドレス生成回路
10から与えられた画面アドレスを画像メモリ7の書き込
み及び読出しアドレスに変換すると共に、スキップ情報
保持回路31に制御されてスキップアドレスについては、
参照メモリ8に対する読出しアドレス及び復元メモリ9
に対する書込みアドレスを発生しないようになってい
る。これにより、予測誤差値tが閾値T以下である場合
の加算器5の加算処理が省略されると共に、予測誤差値
tが閾値T以下である場合の加算器5の出力は復元メモ
リ9に書込まれないようになっている。[0092] The skip information holding circuit 31 controls the physical address generation circuit 33 based on the held skip address. The physical address generation circuit 33 is a virtual address generation circuit
The screen address given from 10 is converted into the write and read addresses of the image memory 7, and the skip address is controlled by the skip information holding circuit 31.
Read address for reference memory 8 and restoration memory 9
Is not generated. Thereby, the addition process of the adder 5 when the prediction error value t is equal to or smaller than the threshold value T is omitted, and the output of the adder 5 when the prediction error value t is equal to or smaller than the threshold value T is written to the restoration memory 9. It is not inserted.
【0093】復号画像読出判断回路32は、表示のための
画像メモリ7からの読出しに際して、仮想アドレス生成
回路10からの画面アドレスがスキップ情報保持回路31に
保持されているスキップアドレスに相当している場合に
は、物理アドレス生成回路33にスキップ情報保持回路31
からのスキップアドレスを用いるように指示を与えるよ
うになっている。なお、スキップ情報保持回路31におけ
る機能を保持機能のみにし、物理アドレス生成回路33の
制御機能は、復号画像読出判断回路32に含ませる、或い
は、物理アドレス生成回路33自体に含ませることは可能
であり、本発明はこれを含む。When reading from the image memory 7 for display, the decoded image read determination circuit 32 corresponds to the skip address held in the skip information holding circuit 31 by the screen address from the virtual address generation circuit 10. In this case, the skip address holding circuit 31 is added to the physical address generation circuit 33.
An instruction is given to use the skip address from. It should be noted that the function of the skip information holding circuit 31 may be only the holding function, and the control function of the physical address generation circuit 33 may be included in the decoded image readout determination circuit 32 or may be included in the physical address generation circuit 33 itself. Yes, the present invention includes this.
【0094】ハーフペル演算回路34は、ハーフペル演算
回路12と同様の構成であり、表示のための読出し時に参
照メモリ8から読出しが行われた場合において、読出し
た画像データにハーフペル処理を施す必要がある場合に
は、読出した画像データにハーフペル処理を施して表示
バッファ19に出力するようになっている。なお、ハーフ
ペル演算回路34は、復元メモリ9から読出された画像デ
ータについては、そのまま表示バッファ19に与える。The half-pel operation circuit 34 has the same configuration as that of the half-pel operation circuit 12, and it is necessary to perform half-pel processing on the read image data when reading from the reference memory 8 is performed at the time of reading for display. In this case, the read image data is subjected to half-pel processing and output to the display buffer 19. The half-pel operation circuit 34 gives the image data read from the restoration memory 9 to the display buffer 19 as it is.
【0095】なお、スキップ情報保持回路31は、必ずし
も画素単位でスキップアドレスを保持する必要はなく、
復号画像の読出し用のアドレスの生成に必要な情報を保
持すればよい。The skip information holding circuit 31 does not always need to hold the skip address in pixel units.
What is necessary is just to hold the information necessary for generating the address for reading the decoded image.
【0096】例えば、画像メモリとして、列(カラム)
アドレスと行(ロウ)アドレスを供給することでアクセ
スを行い、1つの行アドレスに対して複数の列アドレス
を有するページ構造を持つDRAMを用いることが考え
られる。図6はこのような画像メモリの書込みを説明す
るための説明図であり、図6(a)は記憶領域のページ
構造を示し、図6(b)は画面上のマクロブロックを示
している。For example, as an image memory, columns
An access may be performed by supplying an address and a row (row) address, and a DRAM having a page structure having a plurality of column addresses for one row address may be used. FIG. 6 is an explanatory diagram for explaining such writing in the image memory. FIG. 6A shows a page structure of a storage area, and FIG. 6B shows a macro block on a screen.
【0097】図6(a)に示すように、画像メモリは複
数のページを有しており、各ページの区画は破線によっ
て示している。ページはロー(ページ)アドレスによっ
て指定することができ、各ページの各カラムはカラムア
ドレスによって指定することができる。一方、図6
(b)に示すように、1画面は複数のマクロブロックに
分割されており、各マクロブロックの区画は破線によっ
て示している。なお、図6(b)に示す水平及び垂直方
向のマクロブロック数は実際とは異なる。As shown in FIG. 6A, the image memory has a plurality of pages, and the division of each page is indicated by a broken line. A page can be specified by a row (page) address, and each column of each page can be specified by a column address. On the other hand, FIG.
As shown in (b), one screen is divided into a plurality of macroblocks, and the division of each macroblock is indicated by a broken line. The number of macroblocks in the horizontal and vertical directions shown in FIG. 6B is different from the actual number.
【0098】いま、復号中のマクロブロックが図6
(b)の実線で示す部分であるものとし、このマクロブ
ロックの復号処理において用いる参照マクロブロックが
図6(a)の太枠で示す部分に書込まれているものとす
る。この場合には、参照マクロブロックが記憶されてい
る部分の先頭のアドレス、即ち、列アドレスCと行アド
レスRとの組のアドレス(C,R)をスキップ情報保持
回路31が保持しておくことにより、復号画像の読出し用
アドレスを生成することができることは明らかである。Now, the macroblock being decoded is shown in FIG.
It is assumed that this is the part shown by the solid line in (b), and the reference macroblock used in the decoding processing of this macroblock is written in the part shown by the thick frame in FIG. In this case, the skip information holding circuit 31 should hold the head address of the portion where the reference macroblock is stored, that is, the address (C, R) of the set of the column address C and the row address R. Thus, it is clear that the read address of the decoded image can be generated.
【0099】即ち、閾値以下検出回路21がマクロブロッ
ク単位で検出結果を得る場合であって、参照マクロブロ
ックが1ページ内に格納されるときには、スキップ情報
保持回路31は各画素毎にスキップアドレスを保持する必
要はなく、参照マクロブロックの先頭画素(例えば画面
上の左上端の画素)のスキップアドレスのみを保持すれ
ばよい。That is, in the case where the below-threshold detection circuit 21 obtains a detection result in macroblock units, and when the reference macroblock is stored in one page, the skip information holding circuit 31 stores the skip address for each pixel. It is not necessary to hold, and only the skip address of the first pixel of the reference macroblock (for example, the upper left pixel on the screen) need be held.
【0100】次に、このように構成された実施の形態の
動作について図7及び図8のフローチャートを参照して
説明する。図7及び図8は丸数字の1によって処理が連
結されることを示している。Next, the operation of the embodiment configured as described above will be described with reference to the flowcharts of FIGS. FIGS. 7 and 8 show that the processes are linked by a circled number 1.
【0101】本実施の形態においては、Iピクチャ(フ
レーム内符号化フレーム)及びPピクチャについての復
号処理は図1の実施の形態と同様である。加算器5から
得られたI,Pピクチャの復元画像データは参照画像を
得るためにメモリデータバス6を介して参照メモリ8に
与えられて記憶される。In the present embodiment, decoding processing for an I picture (intra-coded frame) and a P picture is the same as in the embodiment of FIG. The restored image data of the I and P pictures obtained from the adder 5 is provided to a reference memory 8 via a memory data bus 6 and stored therein in order to obtain a reference image.
【0102】ここで、Bピクチャの符号化データを復号
化するものとする。なお、閾値以下検出回路21はマクロ
ブロック内の予測誤差値の総和Sが閾値T1 以下である
か否かの検出結果を出力するものとして説明を行う。図
7のステップS51においてブロック番号kを1に初期化
した後、ステップS52において動き情報及び符号化不要
情報を取得する。即ち、VLD2は符号化データを可変
長復号化して、量子化出力を得ると共に、動きベクトル
及び符号化不要情報を得る。Here, it is assumed that the encoded data of the B picture is decoded. The following description is made on the assumption that the below-threshold detection circuit 21 outputs a detection result indicating whether or not the sum S of the prediction error values in the macroblock is equal to or less than the threshold T1. After the block number k is initialized to 1 in step S51 of FIG. 7, motion information and coding unnecessary information are acquired in step S52. That is, the VLD 2 performs variable length decoding of the encoded data to obtain a quantized output, and also obtains a motion vector and encoding unnecessary information.
【0103】量子化出力はIQ3及びIDCT4によっ
て元の画素データに戻される。この場合には、IDCT
4の出力は予測誤差である(ステップS53)。予測誤差
は閾値以下検出回路21に与えられる。閾値以下検出回路
21は、ステップS54において予測誤差値の総和Sを求め
る。The quantized output is returned to the original pixel data by IQ3 and IDCT4. In this case, IDCT
The output of No. 4 is a prediction error (step S53). The prediction error is given to the below threshold detection circuit 21. Below threshold detection circuit
21 obtains the sum S of the prediction error values in step S54.
【0104】一方、VLD2からの動きベクトル及び符
号化不要情報は仮想アドレス生成回路10に供給される。
仮想アドレス生成回路10は、ステップS55において、動
きベクトルの情報からk番目のマクロブロックが参照し
た参照マクロブロックの画面アドレスを求める。この画
面アドレスは物理アドレス生成回路33に与えられると共
にスキップ情報保持回路31にも与えられる。物理アドレ
ス生成回路33はステップS56において画面アドレスを参
照画像の読出しアドレス(mRa,mCa)に変換す
る。On the other hand, the motion vector and the coding unnecessary information from the VLD 2 are supplied to the virtual address generation circuit 10.
In step S55, the virtual address generation circuit 10 obtains the screen address of the reference macroblock referred to by the kth macroblock from the motion vector information. This screen address is supplied to the physical address generation circuit 33 and also to the skip information holding circuit 31. The physical address generation circuit 33 converts the screen address into a read address (mRa, mCa) of the reference image in step S56.
【0105】次のステップS57では、閾値以下検出回路
21によって、総和Sが閾値T1 以下であるか否かが判定
される。閾値以下検出回路21は総和Sが閾値T1 以下で
あるか否かの検出結果をスキップ情報保持回路31に出力
する。スキップ情報保持回路31は、総和Sが閾値T1 以
下であることが示された場合には、ステップS62におい
てスキップされるマクロブロックの番号kを記憶し、ス
テップS63においてk番目のマクロブロックが参照する
参照マクロブロックの読出しアドレスをスキップアドレ
スとして記憶して、処理をステップS61に移行する。即
ち、この場合には、物理アドレス生成回路33は書込み及
び読出しアドレスを出力せず、ステップS58乃至S60の
動き補償復号処理及び復号画像の書込み処理は行われな
い。In the next step S57, a threshold value or less detection circuit
According to 21, it is determined whether or not the sum S is less than or equal to the threshold value T1. The below-threshold detection circuit 21 outputs a detection result of whether or not the sum S is below the threshold T1 to the skip information holding circuit 31. When it is indicated that the sum S is equal to or smaller than the threshold value T1, the skip information holding circuit 31 stores the number k of the macroblock to be skipped in step S62, and refers to the k-th macroblock in step S63. The read address of the reference macro block is stored as a skip address, and the process proceeds to step S61. That is, in this case, the physical address generation circuit 33 does not output the write and read addresses, and the motion compensation decoding processing and the writing processing of the decoded image in steps S58 to S60 are not performed.
【0106】総和Sが閾値T1 よりも大きい場合には、
通常の動き補償復号処理及び復号画像の書込み処理が行
われる。即ち、ステップS58において物理アドレス生成
回路33は読出しアドレスを参照メモリ8に与えて、動き
補償した参照マクロブロックを読出してハーフペル演算
回路12に供給する。参照マクロブロックはハーフペル演
算回路12において補間処理された後、ステップS59にお
いて、加算器5により予測誤差と加算されて元の復元画
像に戻される。復元画像データは加算器5からメモリデ
ータバス6を介して復元メモリ9に供給されて記憶され
る。When the sum S is larger than the threshold T1,
Normal motion compensation decoding processing and decoding processing of a decoded image are performed. That is, in step S58, the physical address generation circuit 33 gives the read address to the reference memory 8, reads the motion-compensated reference macro block, and supplies it to the half-pel operation circuit 12. After the reference macroblock is subjected to the interpolation processing in the half-pel operation circuit 12, in step S59, it is added to the prediction error by the adder 5 to return to the original restored image. The restored image data is supplied from the adder 5 via the memory data bus 6 to the restored memory 9 and stored therein.
【0107】ステップS61では動き補償復号処理が終了
したか否かが判断される。全画面についての動き補償復
号処理が終了していない場合には、ステップS64に処理
を移行してブロック番号kをインクリメントし、ステッ
プS52以降の処理を繰返す。画面の全てのマクロブロッ
クについて動き補償復号処理が終了すると、ステップS
61から処理をステップS65以降の表示処理に移行する。In step S61, it is determined whether or not the motion compensation decoding processing has been completed. If the motion compensation decoding process has not been completed for all the screens, the process shifts to step S64 to increment the block number k, and repeats the process from step S52. When the motion compensation decoding process is completed for all the macroblocks on the screen, step S
The process shifts from 61 to the display process of step S65 and thereafter.
【0108】このように、予測誤差値の総和Sが閾値T
1 以下であるマクロブロックについては、動き補償復号
処理及び復元画像データの書込み処理が省略されてお
り、処理が高速化されると共に、メモリデータバス6の
占有率が著しく低減される。As described above, the sum S of the prediction error values is equal to the threshold value T.
For macroblocks of 1 or less, the motion compensation decoding processing and the writing processing of the restored image data are omitted, and the processing speed is increased, and the occupancy of the memory data bus 6 is significantly reduced.
【0109】次に、表示タイミングになると、ステップ
S65以降の表示処理が行われる。ステップS65において
は、仮想アドレス生成回路10によって、復元画像データ
を読出すための画面アドレスが生成される。この画面ア
ドレスは物理アドレス生成回路33及び復号画像読出判断
回路32に供給される。Next, at the display timing, the display processing from step S65 is performed. In step S65, the virtual address generation circuit 10 generates a screen address for reading out the restored image data. This screen address is supplied to the physical address generation circuit 33 and the decoded image read determination circuit 32.
【0110】復号画像読出判断回路32は、次のステップ
S66において、画面アドレスによって指定された復元画
像データがスキップ情報保持回路31に記憶されているス
キップされたk番目のマクロブロック区画内のデータで
あるか否かを判定する。読出す復元画像データがI,P
ピクチャに基づくものである場合又はスキップされたk
番目のマクロブロック区画内のデータでない場合には、
ステップS69において、物理アドレス生成回路33は画面
アドレスを読出アドレス(dRa,dCa)に変換す
る。物理アドレス生成回路33からの読出アドレスは、参
照メモリ8又は復元メモリ9に供給されて、復元画像デ
ータが読出される(ステップS70)。In the next step S66, the decoded image read determination circuit 32 determines whether the restored image data specified by the screen address is the data in the skipped k-th macroblock section stored in the skip information holding circuit 31. It is determined whether or not there is. If the restored image data to be read is I, P
K based on picture or skipped
If the data is not in the
In step S69, the physical address generation circuit 33 converts the screen address into a read address (dRa, dCa). The read address from the physical address generation circuit 33 is supplied to the reference memory 8 or the restoration memory 9, and the restoration image data is read (step S70).
【0111】読出す復元画像データがスキップされたk
番目のマクロブロック区画内のデータである場合には、
処理はステップS66からステップS67に移行する。復号
画像読出判断回路32は物理アドレス生成回路33を制御し
て、スキップ情報保持回路31に保持されているk番目の
マクロブロックに対応したスキップアドレスを読出させ
る(ステップS67)。ここで、読出されたアドレスは、
ステップS58の動き補償復号処理時にk番目のマクロブ
ロックが参照した参照マクロブロックの保持されている
参照メモリ8上のアドレスに相当する。物理アドレス生
成回路33は、ステップS68において、スキップアドレス
(mRa,mCa)を読出しアドレス(dRa,dC
a)に変換する。The skipped restored image data is skipped k
If the data is in the macroblock partition of the
The process proceeds from step S66 to step S67. The decoded image read determination circuit 32 controls the physical address generation circuit 33 to read the skip address corresponding to the k-th macro block stored in the skip information storage circuit 31 (step S67). Here, the read address is
This corresponds to the address on the reference memory 8 where the reference macroblock referred to by the k-th macroblock during the motion compensation decoding processing in step S58. In step S68, the physical address generation circuit 33 converts the skip address (mRa, mCa) into the read address (dRa, dC
a).
【0112】次のステップS70において、物理アドレス
生成回路33は、参照メモリ8の読出しアドレスを指定し
て、画像データの読出しを行う。即ち、この場合には、
動き補償復号処理されていない参照画像が復元画像デー
タとして読出される。この場合でも、予測誤差値の総和
Sが閾値T1 以下であるので、復元画像の画質に与える
影響は極めて小さい。ステップS71では1画面の全ての
表示処理が終了したか否かが判定され、終了していない
場合には、ステップS65以降の処理が繰返される。In the next step S70, the physical address generation circuit 33 reads out image data by designating a read address of the reference memory 8. That is, in this case,
A reference image that has not been subjected to motion compensation decoding is read as restored image data. Even in this case, since the total sum S of the prediction error values is equal to or less than the threshold value T1, the influence on the image quality of the restored image is extremely small. In step S71, it is determined whether or not all the display processes for one screen have been completed. If not, the processes from step S65 are repeated.
【0113】このように、本実施の形態においては、閾
値以下検出回路21の検出結果に基づいて、Bピクチャに
ついては動き補償復号処理及び復元画像データの書込み
処理をスキップさせており、復号処理を高速化すると共
に、メモリデータバスの占有率を著しく低減することが
できる。これにより、画像メモリを他の機能用として兼
用することを可能にして、回路規模を低減することがで
きる。As described above, in the present embodiment, the motion compensation decoding process and the writing process of the restored image data are skipped for the B picture based on the detection result of the below-threshold detection circuit 21. The speed can be increased and the occupancy of the memory data bus can be significantly reduced. As a result, the image memory can be used for other functions, and the circuit scale can be reduced.
【0114】なお、閾値以下検出回路21は、予測誤差を
画素単位及びマクロブロック単位だけでなく他の単位で
所定の閾値と比較してもよいことは明らかである。ま
た、本実施の形態においては、画質を考慮してBピクチ
ャのみ処理をスキップする例について説明したが、Pピ
クチャについても処理をスキップさせるようにしてもよ
いことは明らかである。更に、本実施の形態において
は、画像メモリを参照メモリと復元メモリとに分けて説
明したが、これらの2つの機能を有する1つのメモリを
用いた場合にも本発明を適用することができることは明
らかである。It is apparent that the below-threshold detection circuit 21 may compare the prediction error with a predetermined threshold not only in pixel units and macroblock units but also in other units. Further, in the present embodiment, an example has been described in which processing is skipped only for B pictures in consideration of image quality. However, it is apparent that processing may be skipped for P pictures. Further, in the present embodiment, the image memory is described as being divided into the reference memory and the restoration memory. However, the present invention can be applied to a case where one memory having these two functions is used. it is obvious.
【0115】更に、本実施の形態においては、スキップ
情報保持回路31においてメモリアドレスを保持すること
を前提に説明したが、メモリアドレスに代えて画面アド
レスを保持するようにしてもよく、この場合にも同様の
効果が得られることは明らかである。Further, in the present embodiment, description has been made on the assumption that the skip information holding circuit 31 holds a memory address. However, a screen address may be held instead of a memory address. It is clear that the same effect can be obtained.
【0116】図9は本発明の他の実施の形態を示すブロ
ック図である。図9において図5と同一の構成要素には
同一符号を付して説明を省略する。FIG. 9 is a block diagram showing another embodiment of the present invention. In FIG. 9, the same components as those in FIG. 5 are denoted by the same reference numerals, and description thereof will be omitted.
【0117】本実施の形態はスキップアドレス等を保持
するスキップ情報保持回路を復元メモリによって兼用す
るようにしたものである。上述したように、動き補償復
号処理及び復元画像データの書込み処理がスキップされ
た画像データについては復元メモリに書込まれない。従
って、復元メモリに未使用部分が生じる。本実施の形態
はこの未使用部分にスキップアドレス等の情報を格納す
るようになっている。In this embodiment, a skip information holding circuit for holding a skip address and the like is also used as a restoration memory. As described above, the image data for which the motion compensation decoding processing and the writing processing of the restored image data are skipped are not written in the restoration memory. Therefore, an unused portion occurs in the restoration memory. In this embodiment, information such as a skip address is stored in the unused portion.
【0118】即ち、仮想アドレス生成回路10からの画面
アドレスは、物理アドレス生成回路33及び復号画像読出
判断回路32に供給されると共に、メモリデータバス6を
介して復元メモリ35にも供給されるようになっている。
復元メモリ35は、加算器5からのBピクチャについての
復元画像データを保持すると共に、閾値以下検出回路21
によって、予測誤差値tが閾値T以下であることが示さ
れた場合には、物理アドレス生成回路33からの読出しア
ドレスをスキップアドレスとして保持するようになって
いる。That is, the screen address from the virtual address generation circuit 10 is supplied to the physical address generation circuit 33 and the decoded image read determination circuit 32, and is also supplied to the restoration memory 35 via the memory data bus 6. It has become.
The restoration memory 35 holds the restoration image data for the B picture from the adder 5 and also stores the threshold value or less detection circuit 21.
Accordingly, when it is indicated that the prediction error value t is equal to or less than the threshold value T, the read address from the physical address generation circuit 33 is held as a skip address.
【0119】このように構成された実施の形態において
も、閾値以下検出回路21によって予測誤差値tが閾値T
以下であることが検出された場合には、参照メモリ8か
らの参照画像の読出しは行われず、動き補償復号処理及
び復元画像データの復元メモリ35への書込み処理は行わ
れない。Also in the embodiment configured as described above, the prediction error value t is set to the threshold T
If the following is detected, the reference image is not read from the reference memory 8 and the motion compensation decoding process and the process of writing the restored image data to the restoration memory 35 are not performed.
【0120】スキップされた画像データを示す読出しア
ドレスは、物理アドレス生成回路33からメモリデータバ
ス6を介して復元メモリ35に格納される。なお、復元メ
モリ35にはスキップアドレスだけでなく、スキップする
マクロブロックの番号k及びその他必要な情報が格納さ
れることは図5の実施の形態と同様である。The read address indicating the skipped image data is stored in the restoration memory 35 from the physical address generation circuit 33 via the memory data bus 6. The restoring memory 35 stores not only the skip address but also the number k of the macroblock to be skipped and other necessary information, as in the embodiment of FIG.
【0121】表示タイミングになると、復号画像読出判
断回路32は、仮想アドレス生成回路10からの画面アドレ
スに相当するスキップアドレスが復元メモリ35に格納さ
れているか否かを判断して、物理アドレス生成回路33を
制御する。これにより、物理アドレス生成回路33は、動
き補償復号処理及び復元画像データの書込み処理がスキ
ップされた画像データについては、スキップアドレスを
読出しアドレスに変換することにより、参照メモリ8か
ら対応する画像データを読出す。At the display timing, the decoded image read determination circuit 32 determines whether or not the skip address corresponding to the screen address from the virtual address generation circuit 10 is stored in the restoration memory 35, and the physical address generation circuit Control 33. Accordingly, the physical address generation circuit 33 converts the skip address into a read address for the image data for which the motion compensation decoding process and the write process of the restored image data have been skipped, and thereby converts the corresponding image data from the reference memory 8. Read.
【0122】なお、復号画像読出判断回路32は、スキッ
プアドレスが書込まれているかどうかを判断するため
に、何らかの判断情報を保持している必要がある。例え
ばマクロブロック番号などがある。The decoded image read judgment circuit 32 needs to hold some kind of judgment information in order to judge whether or not the skip address has been written. For example, there is a macro block number.
【0123】他の作用は図5の実施の形態と同様であ
る。The other operations are the same as those of the embodiment shown in FIG.
【0124】このように、本実施の形態においては、図
5の実施の形態と同様の効果を得ることができると共
に、スキップ情報保持回路31を省略することができると
いう利点がある。As described above, the present embodiment has the advantages that the same effects as those of the embodiment of FIG. 5 can be obtained and that the skip information holding circuit 31 can be omitted.
【0125】また、復元メモリ35に、スキップアドレス
と共に、スキップアドレスが書込まれている目印も同時
に書込んでおくことにより、復元メモリ35から読出され
たデータが復号画像であるかスキップアドレスであるか
を、復号画像読出判断回路32によって判定情報を保持す
ることなく判定させ、参照画像を復号画像として読出す
か否かを制御することも可能である。By writing the skip address and the mark in which the skip address is written in the restoration memory 35 at the same time, the data read from the restoration memory 35 is a decoded image or a skip address. This can be determined by the decoded image reading determination circuit 32 without holding the determination information, and whether or not the reference image is read as the decoded image can be controlled.
【0126】図10は本発明の他の実施の形態を示すブ
ロック図である。図10において図5と同一の構成要素
には同一符号を付して説明を省略する。FIG. 10 is a block diagram showing another embodiment of the present invention. 10, the same components as those in FIG. 5 are denoted by the same reference numerals, and description thereof will be omitted.
【0127】本実施の形態は、図5の実施の形態におい
て閾値Tを0とした場合の例であり、動き補償復号処理
及び復元画像データの書込み処理のスキップを予測誤差
の有無によって制御するようにしたものである。This embodiment is an example in which the threshold value T is set to 0 in the embodiment of FIG. 5, and the skip of the motion compensation decoding process and the writing process of the restored image data is controlled by the presence or absence of a prediction error. It was made.
【0128】本実施の形態は閾値以下検出回路21を省略
すると共に、予測誤差0検出回路41を設けた点が図5の
実施の形態と異なる。なお、画像メモリ42は画像メモリ
7と同様の機能を有する単一のメモリである。This embodiment is different from the embodiment shown in FIG. 5 in that the below-threshold detection circuit 21 is omitted and a prediction error 0 detection circuit 41 is provided. The image memory 42 is a single memory having the same function as the image memory 7.
【0129】本実施の形態においては、IDCT4から
の予測誤差データは加算器5に供給される。また、VL
D2からの符号化不要情報は予測誤差0検出回路41に与
えられる。予測誤差の有無は符号化不要情報によって検
出することができる。予測誤差0検出回路41は符号化不
要情報から予測誤差の有無を検出し、検出結果をスキッ
プ情報保持回路31に出力するようになっている。In the present embodiment, the prediction error data from IDCT 4 is supplied to adder 5. Also, VL
The encoding unnecessary information from D2 is given to the prediction error 0 detection circuit 41. The presence / absence of the prediction error can be detected by the coding unnecessary information. The prediction error 0 detection circuit 41 detects the presence or absence of a prediction error from the encoding unnecessary information, and outputs the detection result to the skip information holding circuit 31.
【0130】スキップ情報保持回路31は、予測誤差がな
い場合には物理アドレス生成回路33からの読出しアドレ
スをスキップアドレスとして保持するようになってい
る。When there is no prediction error, the skip information holding circuit 31 holds the read address from the physical address generation circuit 33 as a skip address.
【0131】次に、このように構成された実施の形態の
動作について図11及び図12のフローチャートを参照
して説明する。図11及び図12において図7及び図8
と同一の手順には同一符号を付して説明を省略する。図
11及び図12は丸数字の1によって処理が連結される
ことを示している。Next, the operation of the embodiment configured as described above will be described with reference to the flowcharts of FIGS. 7 and 8 in FIGS.
The same steps as those described above are denoted by the same reference numerals and description thereof is omitted. FIG. 11 and FIG. 12 show that the processes are linked by a circle numeral 1.
【0132】本実施の形態における処理フローは、ステ
ップS53,S54を省略し、ステップS57に代えてステッ
プS75を設けた点が図7の処理フローと異なる。ステッ
プS75では予測誤差の有無を判定し、予測誤差がある場
合には処理をステップS58に移行し、予測誤差がない場
合には処理をステップS62に移行するようになってい
る。The processing flow of this embodiment is different from the processing flow of FIG. 7 in that steps S53 and S54 are omitted and step S75 is provided instead of step S57. In step S75, the presence or absence of a prediction error is determined. If there is a prediction error, the process proceeds to step S58. If there is no prediction error, the process proceeds to step S62.
【0133】即ち、ステップS52においてVLD2が動
き情報及び符号化不要情報を取得すると、次にステップ
S55において画面アドレスが生成される。That is, when the VLD 2 acquires the motion information and the encoding unnecessary information in step S52, a screen address is generated in step S55.
【0134】ステップS75では、予測誤差0検出回路41
によって予測誤差の有無が判定される。符号化不要情報
によって予測誤差があることが示された場合には、ステ
ップS58乃至ステップS60によって、動き補償復号処理
及び復元画像データの書込み処理を行う。一方、符号化
不要情報によって予測誤差がないことが示された場合に
は、ステップS62においてマクロブロック番号kを記憶
し、ステップS63においてスキップアドレスを記憶する
と、処理をステップS61に移行する。In step S75, the prediction error 0 detection circuit 41
Is used to determine the presence or absence of a prediction error. If the encoding unnecessary information indicates that there is a prediction error, motion compensation decoding processing and writing processing of restored image data are performed in steps S58 to S60. On the other hand, if the encoding unnecessary information indicates that there is no prediction error, the macro block number k is stored in step S62, and the skip address is stored in step S63. Then, the process proceeds to step S61.
【0135】他の作用は図5の実施の形態と同様であ
る。The other operations are the same as those of the embodiment shown in FIG.
【0136】このように、本実施の形態においては、予
測誤差の有無を符号化不要情報によって検出することが
できることから、予測誤差値の総和等の算出演算は不要
であり、カウンタ等の回路を内蔵する必要もない。この
ため、図5の実施の形態に比してスキップするか否かの
検出方法を簡素化することができ、回路規模を低減する
ことができる。また、スキップ条件を予測誤差無に限定
することにより、従来例からの画質劣化(SNR低下)
は全くない。As described above, in the present embodiment, since the presence / absence of a prediction error can be detected based on the encoding unnecessary information, calculation for calculating the sum of the prediction error values is unnecessary, and circuits such as a counter are required. There is no need to incorporate it. For this reason, the method of detecting whether or not to skip can be simplified as compared with the embodiment of FIG. 5, and the circuit scale can be reduced. In addition, by limiting the skip condition to no prediction error, image quality degradation (SNR degradation) from the conventional example is reduced.
Not at all.
【0137】図13は本発明の他の実施の形態に係る動
画像復号装置を示すブロック図である。図13において
図5と同一の構成要素には同一符号を付して説明を省略
する。FIG. 13 is a block diagram showing a moving picture decoding apparatus according to another embodiment of the present invention. 13, the same components as those in FIG. 5 are denoted by the same reference numerals, and description thereof will be omitted.
【0138】本実施の形態はハーフペル演算回路34とハ
ーフペル演算回路12とを兼用した例である。本実施の形
態はハーフペル演算回路34を省略し、セレクタ45を設け
た点が図10の実施の形態と異なる。This embodiment is an example in which the half-pel operation circuit 34 and the half-pel operation circuit 12 are shared. This embodiment is different from the embodiment of FIG. 10 in that the half-pel operation circuit 34 is omitted and a selector 45 is provided.
【0139】セレクタ45はハーフペル演算回路12の出力
が入力されると共に、画像メモリ42から読出された復元
画像データがメモリデータバス6を介して入力される。
セレクタ45は復号画像読出判断回路32によって制御され
て、表示処理のための画像メモリ42からの読出時におい
て、動き補償復号処理及び復元画像データの書込み処理
がスキップされた画像データについてはハーフペル演算
回路12の出力を選択し、スキップされていない画像デー
タについてはメモリデータバス6の出力を選択して表示
バッファ19に出力するようになっている。The selector 45 receives the output of the half-pel operation circuit 12 and the restored image data read from the image memory 42 via the memory data bus 6.
The selector 45 is controlled by the decoded image reading determination circuit 32, and when reading from the image memory 42 for display processing, the half-pel operation circuit is used for the image data for which the motion compensation decoding processing and the writing processing of the restored image data are skipped. Twelve outputs are selected, and for image data not skipped, the output of the memory data bus 6 is selected and output to the display buffer 19.
【0140】このように構成された実施の形態において
は、表示処理時において、画像メモリ42から動き補償復
号処理及び復元画像データの書込み処理が行われた画像
データが読出されると、この画像データはメモリデータ
バス6からセレクタ45を介して表示バッファ19に供給さ
れる。In the embodiment configured as described above, when the image data subjected to the motion compensation decoding processing and the writing processing of the restored image data is read out from the image memory 42 during the display processing, this image data is read. Are supplied from the memory data bus 6 to the display buffer 19 via the selector 45.
【0141】一方、復号画像読出判断回路32は、表示処
理時において、物理アドレス生成回路33にスキップアド
レスを用いるように指示する場合には、セレクタ45にハ
ーフペル演算回路12の出力を選択させる。画像メモリ42
からは動き補償復号処理及び復元画像データの書込み処
理がスキップされた画像データが読出されてメモリデー
タバス6を介してハーフペル演算回路12に供給される。On the other hand, the decoded image read determination circuit 32 causes the selector 45 to select the output of the half-pel operation circuit 12 when instructing the physical address generation circuit 33 to use the skip address during the display processing. Image memory 42
Then, the image data skipped in the motion compensation decoding process and the writing process of the restored image data are read and supplied to the half-pel operation circuit 12 via the memory data bus 6.
【0142】ハーフペル演算回路12はハーフペル演算を
行って画像データを補間処理してセレクタ45に出力す
る。セレクタ45は復号画像読出判断回路32に制御されて
ハーフペル演算回路12の出力を選択しており、補間処理
された画像データはセレクタ45から表示バッファ19に供
給される。The half-pel operation circuit 12 performs a half-pel operation, interpolates the image data, and outputs it to the selector 45. The selector 45 is controlled by the decoded image read determination circuit 32 to select the output of the half-pel operation circuit 12, and the image data subjected to the interpolation processing is supplied from the selector 45 to the display buffer 19.
【0143】他の作用は図10の実施の形態と同様であ
る。The other operation is the same as that of the embodiment shown in FIG.
【0144】このように、本実施の形態においては、図
10の実施の形態と同様の効果を有すると共に、ハーフ
ペル演算回路を省略することができるという利点があ
る。なお、セレクタ45を設ける必要があるが、セレクタ
45はハーフペル演算回路12の出力とメモリデータバス6
からの出力とを切換えるだけであるので、ハーフペル演
算回路12によりも構成が簡単である。As described above, this embodiment has the same effects as the embodiment of FIG. 10 and has the advantage that the half-pel operation circuit can be omitted. It is necessary to provide the selector 45,
45 is the output of the half-pel operation circuit 12 and the memory data bus 6
Since only the output of the half-pel arithmetic circuit 12 is switched, the configuration is simpler.
【0145】また、予測誤差0検出回路41において、符
号化不要情報から予測誤差の有無の情報だけでなくハー
フペルの動き情報があるか否かについての情報も検出す
るようにすることもできる。そして、ハーフペルの動き
情報がある場合には、予測誤差がないときであっても、
動き補償復号処理及び復元画像データの書込み処理をス
キップしないことも考えられる。この場合には、画像メ
モリ42のアクセスの軽減率は低下するが、図10のハー
フペル演算回路34及び図13のセレクタ45を省略するこ
とができ、回路規模を低減することが可能である。Further, the prediction error 0 detection circuit 41 can detect not only information on the presence or absence of a prediction error but also information on whether or not there is half-pel motion information from the encoding unnecessary information. And if there is half-pel motion information, even when there is no prediction error,
It is also conceivable that the motion compensation decoding process and the writing process of the restored image data are not skipped. In this case, the reduction rate of the access to the image memory 42 is reduced, but the half-pel operation circuit 34 in FIG. 10 and the selector 45 in FIG. 13 can be omitted, and the circuit scale can be reduced.
【0146】また、同様に、図5及び図9の実施の形態
においても、ハーフペルの動き情報がある場合には、予
測誤差値が閾値以下であるときであっても、動き補償復
号処理及び復元画像データの書込み処理をスキップしな
いことにより、ハーフペル演算回路34を省略することが
できることは明らかである。Similarly, in the embodiment shown in FIGS. 5 and 9, when there is half-pel motion information, even when the prediction error value is equal to or smaller than the threshold, the motion compensation decoding process and the restoration are performed. Obviously, the half-pel operation circuit 34 can be omitted by not skipping the writing process of the image data.
【0147】また、符号化不要情報のうちのCBPは、
マクロブロックより下位のブロックについて予測誤差の
有無を示す情報を含むことがある。この場合には、この
下位ブロック単位で予測誤差0検出回路41が予測誤差の
有無を判定し、下位ブロック単位でスキップを制御して
もよい。The CBP of the encoding unnecessary information is
Information indicating the presence or absence of a prediction error may be included in blocks lower than the macro block. In this case, the prediction error 0 detection circuit 41 may determine the presence or absence of a prediction error in units of lower blocks, and control skipping in units of lower blocks.
【0148】なお、本実施の形態においては、フレーム
画像を例に説明したが、フィールド画像についても適用
できることは明らかである。In the present embodiment, a frame image has been described as an example, but it is apparent that the present invention can be applied to a field image.
【0149】[0149]
【発明の効果】以上説明したように本発明によれば、復
号処理を高速化することができると共に、画像メモリの
バス占有率を低減することにより、画像メモリを他の機
能用として兼用することを可能にして、回路規模を低減
することができるという効果を有する。As described above, according to the present invention, the decoding process can be sped up, and the bus occupancy of the image memory is reduced, so that the image memory can be used for other functions. And the circuit scale can be reduced.
【図1】本発明に係る動画像復号装置の一実施の形態を
示すブロック図。FIG. 1 is a block diagram showing an embodiment of a video decoding device according to the present invention.
【図2】図1の実施の形態の動作を説明するためのフロ
ーチャート。FIG. 2 is a flowchart for explaining the operation of the embodiment of FIG. 1;
【図3】本発明の他の実施の形態に係る動画像復号方法
を示すフローチャート。FIG. 3 is a flowchart showing a moving image decoding method according to another embodiment of the present invention.
【図4】本発明の他の実施の形態に係る動画像復号方法
を示すフローチャート。FIG. 4 is a flowchart showing a moving image decoding method according to another embodiment of the present invention.
【図5】本発明の他の実施の形態に係る動画像復号装置
を示すブロック図。FIG. 5 is a block diagram showing a moving picture decoding apparatus according to another embodiment of the present invention.
【図6】図5の実施の形態を説明するための説明図。FIG. 6 is an explanatory diagram for explaining the embodiment in FIG. 5;
【図7】図5の実施の形態の動作を説明するためのフロ
ーチャート。FIG. 7 is a flowchart for explaining the operation of the embodiment of FIG. 5;
【図8】図5の実施の形態の動作を説明するためのフロ
ーチャート。FIG. 8 is a flowchart for explaining the operation of the embodiment of FIG. 5;
【図9】本発明の他の実施の形態に係る動画像復号装置
を示すブロック図。FIG. 9 is a block diagram showing a video decoding device according to another embodiment of the present invention.
【図10】本発明の他の実施の形態に係る動画像復号装
置を示すブロック図。FIG. 10 is a block diagram showing a video decoding device according to another embodiment of the present invention.
【図11】図10の実施の形態の動作を説明するための
フローチャート。FIG. 11 is a flowchart for explaining the operation of the embodiment of FIG. 10;
【図12】図10の実施の形態の動作を説明するための
フローチャート。FIG. 12 is a flowchart for explaining the operation of the embodiment of FIG. 10;
【図13】本発明の他の実施の形態に係る動画像復号装
置を示すブロック図。FIG. 13 is a block diagram showing a moving picture decoding apparatus according to another embodiment of the present invention.
【図14】従来の動画像復号装置を示すブロック図。FIG. 14 is a block diagram showing a conventional video decoding device.
【図15】従来例の動作を説明するためのフローチャー
ト。FIG. 15 is a flowchart for explaining the operation of the conventional example.
【図16】符号化不要情報を説明するための説明図。FIG. 16 is an explanatory diagram for explaining encoding unnecessary information.
【図17】符号化不要情報を説明するための説明図。FIG. 17 is an explanatory diagram for explaining encoding unnecessary information.
5…加算器、6…メモリデータバス、8…参照メモリ、
21…閾値以下検出回路、22…スイッチ、23…セレクタ5 ... adder, 6 ... memory data bus, 8 ... reference memory,
21: Below threshold detection circuit, 22: Switch, 23: Selector
Claims (13)
動き補償予測符号化によって所定のブロック単位で符号
化された符号化信号の前記予測誤差の大きさを示す予測
誤差値を検出する手順と、 前記符号化信号から前記参照画像を得ると共に、前記予
測誤差の大きさに基づいて動き補償復号処理をスキップ
させながら前記参照画像と前記予測誤差とを用いて復号
画像を得る復号手順と、 前記復号手順において動き補償復号処理がスキップされ
た場合には前記復号画像の出力に際して前記参照画像を
前記復号画像として出力する出力手順とを具備したこと
を特徴とする動画像復号方法。1. A prediction error value indicating a magnitude of a prediction error of an encoded signal encoded in a predetermined block unit by motion compensation prediction encoding using a prediction error between a current image and a reference image. A procedure for obtaining the reference image from the encoded signal, and for obtaining a decoded image using the reference image and the prediction error while skipping motion compensation decoding based on the magnitude of the prediction error. An output step of outputting the reference image as the decoded image when outputting the decoded image when the motion compensation decoding process is skipped in the decoding procedure.
の閾値以下である場合に動き補償復号処理をスキップさ
せることを特徴とする請求項1に記載の動画像復号方
法。2. The decoding step, wherein the prediction error value is a first
2. The moving picture decoding method according to claim 1, wherein the motion compensation decoding process is skipped when the difference is equal to or less than the threshold value.
位の予測誤差値の総和が第2の閾値以下である場合に動
き補償復号処理をスキップさせることを特徴とする請求
項1に記載の動画像復号方法。3. The moving picture according to claim 1, wherein the decoding step skips the motion compensation decoding when the sum of the prediction error values in the predetermined block unit is equal to or less than a second threshold. Image decoding method.
前記予測誤差値の総数が前記所定のブロック単位で第4
の閾値以下である場合に動き補償復号処理をスキップさ
せることを特徴とする請求項1に記載の動画像復号方
法。4. The decoding procedure according to claim 1, wherein a total number of the prediction error values equal to or smaller than a third threshold value is equal to a fourth threshold value in units of the predetermined block.
2. The moving picture decoding method according to claim 1, wherein the motion compensation decoding process is skipped when the difference is equal to or less than the threshold value.
き補償復号処理をスキップさせるか、前記所定のブロッ
ク単位で動き補償復号処理をスキップさせるか又は所定
の画像ブロック単位で動き補償復号処理をスキップさせ
るかを変更可能とすることを特徴とする請求項1に記載
の動画像復号方法。5. The decoding procedure according to claim 1, wherein the motion compensation decoding process is skipped in the prediction error unit, the motion compensation decoding process is skipped in the predetermined block unit, or the motion compensation decoding process is performed in the predetermined image block unit. The moving picture decoding method according to claim 1, wherein whether to skip the moving picture can be changed.
動き補償予測符号化によって所定のブロック単位で符号
化された符号化信号が入力され、所定の復号処理によっ
て復号画像を得る復号手段と、 前記復号画像を参照画像として保持する記憶手段と、 前記所定の復号処理の過程で得られる前記予測誤差の大
きさを検出して検出結果を出力する予測誤差検出手段
と、 前記検出結果に基づいて前記記憶手段からの参照画像と
前記予測誤差との加算処理を省略して、前記復号手段の
所定の復号処理のうちの動き補償復号処理をスキップさ
せるスキップ手段と、 前記スキップ手段によって動き補償復号処理がスキップ
された場合には前記復号画像の出力に際して前記記憶手
段に保持されている参照画像を前記復号画像として出力
する出力手段とを具備したことを特徴とする動画像復号
装置。6. A decoding means for receiving a coded signal coded in a predetermined block unit by motion compensation prediction coding using a prediction error between a current image and a reference image and obtaining a decoded image by a predetermined decoding process A storage unit that holds the decoded image as a reference image; a prediction error detection unit that detects a magnitude of the prediction error obtained in the process of the predetermined decoding process and outputs a detection result; A skip unit for omitting an addition process between the reference image and the prediction error from the storage unit based on the motion compensation decoding process among predetermined decoding processes of the decoding unit; Output means for outputting the reference image held in the storage means as the decoded image when outputting the decoded image when the decoding process is skipped. Video decoding apparatus characterized by Bei was.
をスキップするか否かを前記予測誤差単位で行うか、前
記所定のブロック単位で行うか又は所定の画像ブロック
単位で行うかを変更可能であることを特徴とする請求項
6に記載の動画像復号装置。7. The skip unit can change whether to skip the motion compensation decoding process in units of the prediction error, in units of the predetermined blocks, or in units of predetermined image blocks. 7. The moving picture decoding apparatus according to claim 6, wherein:
が第1の閾値以下である場合に動き補償復号処理をスキ
ップさせることを特徴とする請求項6に記載の動画像復
号装置。8. The video decoding apparatus according to claim 6, wherein the skip unit skips the motion compensation decoding process when the value of the prediction error is equal to or less than a first threshold.
ク単位の予測誤差の値の総和が第2の閾値以下である場
合に動き補償復号処理をスキップさせることを特徴とす
る請求項6に記載の動画像復号装置。9. The motion compensation decoding process according to claim 6, wherein the skip unit skips the motion compensation decoding process when the sum of the prediction error values in the predetermined block unit is equal to or less than a second threshold value. Video decoding device.
である前記予測誤差の値の総数が前記所定のブロック単
位で第4の閾値以下である場合に動き補償復号処理をス
キップさせることを特徴とする請求項6に記載の動画像
復号装置。10. The motion compensation decoding process when the total number of prediction error values equal to or less than a third threshold value is equal to or less than a fourth threshold value in units of the predetermined block. The moving picture decoding apparatus according to claim 6, wherein
動き補償復号処理後の復号画像を保持する復号記憶手段
と、 動き補償復号処理をスキップさせる参照画像の前記記憶
手段上の記憶位置に関する情報を保持するスキップ情報
記憶手段と、 前記スキップ情報記憶手段に記憶されている情報に基づ
いて、前記復号記憶手段と前記記憶手段とで読出しを切
換えることにより、前記復号記憶手段に記憶された復号
画像と動き補償復号処理がスキップされた参照画像とを
出力する読出し手段とを具備したことを特徴とする請求
項6に記載の動画像復号装置。11. The decoding device according to claim 1, wherein the output unit stores a decoded image that has been subjected to the motion compensation decoding process by the decoding unit, and information about a storage position on the storage unit of the reference image that skips the motion compensation decoding process. The skip information storage means to be held, and by switching readout between the decode storage means and the storage means based on the information stored in the skip information storage means, the decoded image stored in the decode storage means 7. The moving picture decoding apparatus according to claim 6, further comprising: reading means for outputting a reference picture whose motion compensation decoding processing has been skipped.
共用化したことを特徴とする請求項11に記載の動画像
復号装置。12. The moving picture decoding apparatus according to claim 11, wherein said decoding storage means is shared with said storage means.
号記憶手段と共用化したことを特徴とする請求項11に
記載の動画像復号装置。13. The moving picture decoding apparatus according to claim 11, wherein said skip information storage means is shared with said decoding storage means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10962197A JPH10304373A (en) | 1997-04-25 | 1997-04-25 | Moving image decoding method and moving image decoder |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10962197A JPH10304373A (en) | 1997-04-25 | 1997-04-25 | Moving image decoding method and moving image decoder |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10304373A true JPH10304373A (en) | 1998-11-13 |
Family
ID=14514942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10962197A Pending JPH10304373A (en) | 1997-04-25 | 1997-04-25 | Moving image decoding method and moving image decoder |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10304373A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6934336B2 (en) | 2001-07-26 | 2005-08-23 | Matsushita Electric Industrial Co., Ltd. | Area expansion apparatus, area expansion method, and area expansion program |
JP2007096696A (en) * | 2005-09-28 | 2007-04-12 | Canon Inc | Apparatus and method for image processing |
WO2008136338A1 (en) * | 2007-04-26 | 2008-11-13 | Nec Corporation | Dynamic image decoding device, dynamic image decoding program, and dynamic image decoding method |
-
1997
- 1997-04-25 JP JP10962197A patent/JPH10304373A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6934336B2 (en) | 2001-07-26 | 2005-08-23 | Matsushita Electric Industrial Co., Ltd. | Area expansion apparatus, area expansion method, and area expansion program |
JP2007096696A (en) * | 2005-09-28 | 2007-04-12 | Canon Inc | Apparatus and method for image processing |
JP4590335B2 (en) * | 2005-09-28 | 2010-12-01 | キヤノン株式会社 | Image processing apparatus and image processing method |
WO2008136338A1 (en) * | 2007-04-26 | 2008-11-13 | Nec Corporation | Dynamic image decoding device, dynamic image decoding program, and dynamic image decoding method |
JP2008278000A (en) * | 2007-04-26 | 2008-11-13 | Nec Corp | Moving image decoding device, decoding program, and decoding method |
US8243813B2 (en) | 2007-04-26 | 2012-08-14 | Nec Corporation | Moving picture decoding device, moving picture decoding program, and moving picture decoding method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2962012B2 (en) | Video encoding device and decoding device therefor | |
KR100272815B1 (en) | Image signal encoding device and decoding device | |
US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
JP3031152B2 (en) | Motion prediction processor and motion prediction device | |
JP2000270332A (en) | Method and device for encoding dynamic picture | |
JP2004242309A (en) | Motion picture encoding/decoding method in interlace scan system and apparatus therefor | |
US7248633B2 (en) | Image decoding device and image decoding method | |
JPH10215457A (en) | Moving image decoding method and device | |
JPH11308617A (en) | Digital image coder and motion vector detector used therefor | |
JPH10304373A (en) | Moving image decoding method and moving image decoder | |
JPH0730903A (en) | Integrated memory circuit for picture processing | |
JPH0828876B2 (en) | Method of refreshing video signal | |
JP2000032474A (en) | Dynamic image encoder | |
JP2000032468A (en) | Image encoding method and recording medium with motion compensation mode selection program recorded therein | |
JP2830881B2 (en) | Predictive encoding method for interlaced image signals | |
US6038345A (en) | Apparatus for encoding/decoding image data | |
JPH1013836A (en) | Motion vector detector | |
JP3161076B2 (en) | Image signal encoding device | |
JPH1023415A (en) | Method and device for encoding and decoding picture | |
JPH10164596A (en) | Motion detector | |
JPH11341521A (en) | Coder for stereoscopic moving image | |
JP3596137B2 (en) | Image signal encoding method and apparatus, and image signal decoding method and apparatus | |
JPH10200899A (en) | Device and method for decoding moving picture | |
JP3262464B2 (en) | Image decoding device | |
JPH0795572A (en) | Picture coder |