JPH08130741A - 画像復号化装置 - Google Patents

Abstract

(57)【要約】 【目的】復号化処理に必要なメモリを低減して低コスト
化する。 【構成】入力されたＩ，Ｐピクチャはメモリ22に記憶さ
せる。Ｂピクチャを復号化する場合には、この復号化に
先行させて、且つ略々並行してメモリ22から読出したＰ
ピクチャを復号化する。Ｂピクチャの復号化には復号化
しているブロックを含む所定範囲の画像データがメモリ
41に格納されていればよい。メモリ41の参照画像データ
はＢピクチャの復号化処理に応じて順次更新する。これ
により、Ｂピクチャを復号化処理するための後方参照画
像を記憶するメモリとして、フレームメモリよりも低容
量のメモリ41を用いることができる。

Description

【発明の詳細な説明】

【０００１】［発明の目的］

【産業上の利用分野】本発明は、両方向予測符号化デー
タを含む符号化データを復号化する画像復号化装置に関
する。

【０００２】

【従来の技術】近年、画像の高能率符号化技術の確立に
伴って、画像のディジタル処理が普及してきている。高
能率符号化技術は、ディジタル伝送及び記録等の効率を
向上させるために、少ないビットレートで画像データを
符号化するものである。この高能率符号化においては、
ｍ×ｎ画素のブロック単位でＤＣＴ（離散コサイン変
換）処理等の直交変換を行っている。直交変換は、入力
される標本値を空間周波数成分等の直交成分に変換する
ものである。これにより空間的な相関成分が削減可能と
なる。直交変換された成分は量子化することにより、ブ
ロックの信号の冗長度を削減する。

【０００３】更に、量子化出力にハフマン符号化等の可
変長符号化を施すことにより、データ量を一層削減す
る。ハフマン符号化は、量子化出力の統計的符号量から
算出した結果に基づいて符号化を行うものであり、出現
確率が高いデータには短いビットを割当て、出現確率が
低いデータには長いビットを割当てる可変長符号化によ
って全体のデータ量を削減する。

【０００４】更に、高能率符号化を行う装置において
は、ＭＰＥＧ（Moving Picture experts group）等など
で検討されているハイブリッド方式が主流となってい
る。この方式では、フレーム内の画像をＤＣＴ処理する
フレーム内圧縮の外に、フレーム間の相関を利用して時
間軸方向の冗長度を削減するフレーム間圧縮も採用す
る。フレーム間圧縮は、一般の動画像が前後のフレーム
でよく似ているという性質を利用して、前後のフレーム
の差分を求め差分値（予測誤差）を符号化することによ
って、ビットレートを一層低減させるものである。特
に、画像の動きを予測してフレーム間差を求めることに
より予測誤差を低減する動き補償フレーム間予測符号化
が有効である。

【０００５】このように、ハイブリッド方式では、所定
フレームの画像データをそのままＤＣＴ処理して符号化
するフレーム内符号化の外に、所定フレームの画像デー
タとこのフレーム前後のフレームの参照画像データとの
差分データのみをＤＣＴ処理して符号化する予測符号化
とを採用する。予測符号化方法としては、時間的に前方
向の参照画像データを動き補償して予測誤差を求める前
方予測符号化と、時間的に後方向の参照画像データを動
き補償して予測誤差を求める後方予測符号化と、符号化
効率を考慮して、前方若しくは後方のいずれか一方又は
両方向の平均を用いた両方向予測符号化とがある。

【０００６】フレーム内符号化によって符号化されたフ
レーム（以下、Ｉピクチャという）はフレーム内情報の
みによって符号化されているので、単独の符号化データ
のみによって復号可能である。従って、ＭＰＥＧ規格に
おいては、エラー伝播防止等のために、Ｉピクチャを固
定周期（例えば１２フレーム）に１枚挿入するようにな
っている。ＭＰＥＧ規格では、このＩピクチャを用いた
前方予測符号化によってフレーム間符号化フレーム（以
下、Ｐピクチャという）を得る。なお、Ｐピクチャは前
方のＰピクチャを前方予測符号化することによっても得
られる。また、前方若しくは後方のいずれか一方又は両
方向のＩ，Ｐピクチャを用いた両方向予測符号化によっ
て両方向予測適応切換フレーム（以下、Ｂピクチャとい
う）を得る。

【０００７】図５はこの方式の圧縮法を説明するための
説明図である。図５（ａ）は入力されるフレーム画像を
示し、図５（ｂ）は符号化データを示し、図５（ｃ）は
復号化データを示している。また、図６はブロック化を
説明するための説明図である。

【０００８】フレーム番号０のフレーム画像はフレーム
内符号化する。このフレーム画像を参照画像として用い
てフレーム番号３のフレーム画像を前方予測符号化す
る。図５Ａ（ｂ）の矢印はこのような符号化の予測方向
を示しており、フレーム番号６のフレーム画像も前方の
フレーム番号３のフレーム画像を参照画像として前方予
測符号化する。また、フレーム番号１，２のフレーム画
像はフレーム番号０，３のフレーム画像を参照画像とし
て両方向予測符号化する。また、フレーム番号４，５の
フレーム画像はフレーム番号３，６のフレーム画像を参
照画像として両方向予測符号化する。

【０００９】即ち、図５Ａ（ｂ）に示すように、先ず、
フレーム番号０の画像データをフレーム内符号化してＩ
ピクチャを得る。この場合には、フレーム番号０の画像
データをメモリ等によってフレーム化すると共に、図６
に示すように、８画素×８ライン毎にブロック化し、ブ
ロック単位でＤＣＴ処理を施す。なお、図中、実線で示
すＯＤＤは奇数フィールドの走査線を示し、破線で示す
ＥＶＥＮは偶数フィールドの走査線を示している。ＤＣ
Ｔ処理によって得たＤＣＴ変換係数は所定の量子化係数
を用いて量子化した後、可変長符号化を施して符号化デ
ータを得る。

【００１０】次に入力されるフレーム番号１のフレーム
画像については、フレーム番号０，３のフレーム画像を
用いた両方向予測符号化を行うので、フレーム番号３の
フレーム画像を符号化するまではメモリに保持する。同
様に、フレーム番号２のフレーム画像についてもフレー
ム番号３のフレーム画像の符号化の後に符号化する。フ
レーム番号３のフレーム画像については、フレーム番号
０のフレーム画像を参照画像として用いた前方予測符号
化を行ってＰピクチャを得る（図５（ｂ））。即ち、フ
レーム番号０の画像データを動きベクトルを用いて動き
補償し、動き補償した参照画像データと現フレーム（フ
レーム番号３のフレーム）の画像データとの差分（予測
誤差）をＤＣＴ処理する。ＤＣＴ変換係数を量子化した
後可変長符号化することはフレーム内符号化時と同様で
ある。

【００１１】次に、既に符号化したフレーム番号０，３
のＩピクチャ，Ｐピクチャを用いてフレーム番号１，２
のフレーム画像を順次両方向予測符号化する。こうし
て、図５（ｂ）に示すように、２つのＢピクチャを得
る。以後同様にして、図５（ｂ）に示すように、フレー
ム番号６，４，５，…のフレーム画像の順に符号化を行
って、Ｐピクチャ，Ｂピクチャ，Ｂピクチャ，…を得
る。

【００１２】このように、符号化時においては、実際に
入力されるフレーム順と異なるフレーム順で符号化を行
う。復号化時には、符号化データの復号化順を元に戻し
てフレーム番号０，１，２，…の順に復号化データを出
力する必要がある。図７はこのような従来の画像復号化
装置を示すブロック図である。また、図８はフレーム化
を説明するための説明図であり、図８（ａ）はノンイン
ターレース走査時のフレーム化を示し、図８（ｂ）はイ
ンターレース走査時のフレーム化を示している。

【００１３】符号バッファメモリ回路１には符号化デー
タを与える。この符号化データは図５（ｂ）に示す符号
化順で、画像データ又は予測誤差をＤＣＴ処理して量子
化した後、可変長符号化したものである。符号バッファ
メモリ回路１は入力された符号化データを保持し、復号
化処理時間と出力処理時間との時間あわせを行って可変
長復号回路２に出力する。可変長復号回路２は符号化デ
ータを可変長復号化して逆量子化回路３及びバッファ制
御回路７に出力する。バッファ制御回路７によって符号
バッファメモリ回路１を制御する。

【００１４】可変長復号回路２の出力は逆量子化回路３
によって逆量子化し、逆ＤＣＴ回路４によって逆ＤＣＴ
処理して符号化側のＤＣＴ処理前のデータに戻す。い
ま、フレーム番号０の符号化データであるＩピクチャが
入力されているものとする。この場合には、逆ＤＣＴ回
路４の出力がフレーム番号０の復元画像であり、逆ＤＣ
Ｔ回路４の出力をそのままフレームメモリ６に与える。

【００１５】逆ＤＣＴ回路４の出力はブロック単位の画
素データであり、フレームメモリ６は１フレーム分の画
素データを保持する。ノンインターレース表示を行う場
合には、図８（ａ）に示すように、フレームメモリ６は
逆ＤＣＴ回路４の出力をフレーム順に配列して、ラスタ
順に出力する。また、インターレース表示を行う場合に
は、図８（ｂ）に示すように、フレームメモリ６は逆Ｄ
ＣＴ回路４の出力を奇数フィールドのデータと偶数フィ
ールドのデータとに分けて配列して、各フィールド毎に
ラスタ順で出力する。フレームメモリ６の出力はスイッ
チ16を介して復号化データとして出力する（図５
（ｃ））。逆ＤＣＴ回路４からのフレーム番号０の復元
画像データはＰ，Ｂピクチャの復号化のためにフレーム
メモリ12にも供給する。

【００１６】なお、ＤＣＴブロックがフレーム化後にブ
ロック化されている場合には、ノンインターレース表示
を行うものとすると、ライン方向の画素配列は変化させ
る必要がないので、出力順を変更するメモリとしては、
８ライン（１ブロックライン）分のデータを保持する容
量があればよい。しかし、インターレース表示を可能に
するためには、奇数フィールドと偶数フィールドとに分
けてデータを出力する必要があることから、更に多くの
メモリを必要とする。このため、一般的には、表示順を
変更するためのメモリとしてフレームメモリを採用して
フレーム化を行うことが多い。

【００１７】次に、フレーム番号３のＰピクチャを復号
化する。この場合には、逆ＤＣＴ回路４の出力は予測誤
差である。一方、動きベクトル抽出回路８は可変長復号
化回路２の出力に含まれる動きベクトルを抽出して動き
補償回路10に与えており、動き補償回路10はフレームメ
モリ12からＩピクチャの復元画像データを読出して、動
きベクトルを用いて動き補償する。動き補償回路10の出
力はスイッチ15を介して加算器５に与える。加算器５は
動き補償したフレーム番号０の復元画像データと逆ＤＣ
Ｔ回路４からの予測誤差とを加算してフレーム番号３の
復元画像データを得る。このデータはフレームメモリ11
に供給する。

【００１８】次に、フレーム番号１のＢピクチャを復号
化する。この場合にも、逆ＤＣＴ回路４の出力は予測誤
差である。動きベクトル抽出回路８はフレーム番号３の
画像とフレーム番号１の画像との間の動きベクトルを可
変長復号出力から抽出して動き補償回路９に与え、動き
補償回路９はこの動きベクトルを用いて、フレームメモ
リ11からフレーム番号３の復元画像データを動き補償し
て加算器13に出力する。加算器13は符号化時の予測モー
ドに応じて、動き補償回路９，10の出力を加算し、スイ
ッチ15を介して加算器５に供給する。加算器５は予測誤
差にスイッチ15の出力を加算してフレーム番号１のＢピ
クチャの復元画像データを得る。この画像データはフレ
ームメモリ６に与えてフレーム化した後、スイッチ16を
介して出力する（図５（ｃ））。

【００１９】次に、フレーム番号２のＢピクチャを復号
化する。この場合にも、逆ＤＣＴ回路４の出力とスイッ
チ15の出力とを加算してフレーム番号２のＢピクチャの
復元画像データを得る。この画像データはフレームメモ
リ６に与えてフレーム化した後、スイッチ16を介して出
力する（図５（ｃ））。次に、図５（ｃ）に示すよう
に、フレームメモリ11に格納しているフレーム番号３の
復元画像データをスイッチ14及びスイッチ16を介して表
示順に復号化データとして出力する。

【００２０】以後、同様の動作を繰返して、図５（ｃ）
の復号化順で復元した画像データ（復号化データ）を出
力する。なお、復号処理と出力処理とはメモリのオーバ
ラップ分とシステム中の動作時間とを考慮しながら制御
される。

【００２１】このように、Ｐピクチャは前方フレームの
参照画像を用いて復号化しており、復号化には参照画像
を保持するための１フレーム分のメモリが必要である。
また、Ｂピクチャは前方及び後方フレームの参照画像を
用いて復号化しており、これらの参照画像を保持するた
めの２フレーム分のメモリが必要である。更に、符号化
処理はＤＣＴブロック単位で行っていることから、上述
したように、加算器５の出力をフレーム化してインタレ
ース表示又はノンインターレース表示を可能にする１フ
レーム分のメモリが必要である。この場合、Ｉ，Ｐピク
チャの復号化データはＢピクチャの参照画像として用い
るためにフレームメモリ11，12に記憶させており、これ
らのフレームメモリ11，12からの読出しを制御して出力
することにより、これらのフレームメモリ11，12をフレ
ーム化用に兼用することができる。しかし、Ｂピクチャ
の復号化データは参照画像用として用いられることはな
くフレームメモリ11，12に記憶されないので、フレーム
化のためにフレームメモリ６を設ける必要がある。

【００２２】

【発明が解決しようとする課題】このように、上述した
従来の画像復号化装置においては、Ｂピクチャを含む画
像符号化データを復号化するためには、多数のメモリが
必要であり、回路規模が増大すると共にコスト高である
という問題点があった。

【００２３】本発明は、Ｂピクチャを含む画像符号化デ
ータの復号化に必要なメモリを削減して回路規模を小さ
くし、低コスト化することができる画像復号化装置を提
供することを目的とする。

【００２４】［発明の構成］

【課題を解決するための手段】本発明に係る画像復号化
装置は、前方及び後方の参照画像を用いた両方向予測符
号化データを含む符号化データが入力され、入力された
符号化データを記憶する第１の記憶手段と、前記入力さ
れた符号化データ又は前記第１の記憶手段から読出した
符号化データを所定のブロック単位で復号化して復号化
データを出力する第１の復号化手段と、前記第１の復号
化手段からの復号化データを参照画像データとして記憶
可能な第２の記憶手段と、前記第１の記憶手段から読出
した符号化データを前記第２の記憶手段に記憶されてい
る参照画像データを用いて復号化処理することにより、
前記第１の復号化手段が復号化する符号化データの参照
画像データを作成する第２の復号化手段と、この第２の
復号化手段からの参照画像データを少なくとも前記第１
の復号化手段の復号化処理が可能な範囲だけは記憶し、
前記第１の復号化手段の復号化処理における参照画像デ
ータとして出力することが可能な第３の記憶手段と、前
記第１の復号化手段からの前記両方向予測符号化データ
に対する復号化データを記憶してフレーム化し表示順に
出力する第４の記憶手段とを具備したものである。

【００２５】

【作用】本発明において、第１の復号化手段が符号化デ
ータを復号化して得た復号化データを参照画像データと
して第２の記憶手段に記憶させる。両方向予測符号化デ
ータを復号化する場合には、第２の復号化手段によって
第１の記憶手段に格納されている符号化データを読出
し、第２の記憶手段に記憶されている参照画像データを
用いて復号化する。例えば、この復号化データを第３の
記憶手段に格納しながら、第２の復号化手段による復号
化処理と並行させて第１の復号化手段に両方予測復号化
データを復号化させる。これにより、第３の記憶手段に
１フレーム分の参照画像データを格納することなく必要
な範囲の参照画像データを更新させながら記憶させるこ
とにより、第１の復号化手段は両方向予測復号化データ
を復号化処理することができる。

【００２６】

【実施例】以下、図面を参照して本発明の実施例につい
て説明する。図１は本発明に係る画像復号化装置の一実
施例を示すブロック図である。図１において図７と同一
の構成要素には同一符号が付してある。本実施例は符号
化データを復号化してインターレース表示の表示順で復
号化データを出力するものである。

【００２７】符号化データは符号バッファメモリ回路１
に供給する。この符号化データは、ＤＣＴ処理、量子化
処理及び可変長符号化処理によって作成されたものであ
り、フレーム内の処理によるＩピクチャ、前方又は後方
フレームの参照画像を用いたＰピクチャ及び両方向フレ
ームの参照画像を用いたＢピクチャを有している。ま
た、符号化データはＰ，Ｂピクチャ作成時に用いた動き
ベクトルの情報も含んでいる。なお、ＤＣＴ処理はフレ
ーム化後にブロック化して得たブロック単位で行う。

【００２８】符号バッファメモリ回路１は入力された符
号化データを保持し、復号化処理時間と出力処理時間と
の時間あわせを行って出力する。本実施例においては、
符号バッファメモリ回路１の出力はスイッチ21の端子
ａ、メモリ22及びピクチャ検出回路23に供給するように
なっている。ピクチャ検出回路23は入力された符号化デ
ータのピクチャタイプを検出して、検出信号をバッファ
制御回路24に出力する。

【００２９】バッファ制御回路24は検出信号に基づいて
符号バッファメモリ回路１を制御する。また、バッファ
制御回路24は、検出信号に基づいてメモリ22の書込み及
び読出しを制御すると共に、スイッチ21の切換えを制御
する。即ち、バッファ制御回路24は、検出信号によって
Ｉピクチャ又はＰピクチャの符号化データが符号バッフ
ァメモリ回路１から出力されたことが示された場合に
は、これらの符号化データをメモリ22に記憶させ、Ｂピ
クチャの符号化データが出力されたことが示された場合
には、スイッチ21に端子ａを選択させてＢピクチャの符
号化データをそのまま可変長復号回路２に供給する。メ
モリ22はＦＩＦＯ（fast-in fast-out）メモリであり、
Ｉ，Ｐピクチャの符号化データを格納可能な容量を有し
ている。なお、Ｉ，Ｐピクチャの符号量は１フレーム分
の画素データのデータ量よりも十分に小さく、メモリ22
は１フレーム分の画素データを記憶するフレームメモリ
の約１／４の容量があればよい。

【００３０】また、バッファ制御回路24は、符号バッフ
ァメモリ回路１からのＩ，Ｐピクチャの符号化データの
書込みと同時に、メモリ22に格納されているＩ，Ｐピク
チャを読出してスイッチ21の端子ｂを介して可変長復号
回路２に供給するようになっている。更に、バッファ制
御回路24は、符号バッファメモリ回路１からＢピクチャ
の符号化データが出力される場合には、これに先行させ
てメモリ22に格納されているＰピクチャの符号化データ
を読出して可変長復号回路32に出力するようになってい
る。

【００３１】可変長復号回路２はスイッチ21を介して符
号化データが与えられて、可変長復号化処理によって符
号化側の可変長符号化処理前のデータに戻して、逆量子
化回路３及び動きベクトル抽出回路８に出力する。動き
ベクトル抽出回路８はＰ，Ｂピクチャについては、可変
長復号出力に含まれる動きベクトルを抽出して動き補償
回路９，10に出力する。逆量子化回路３は入力されたデ
ータを逆量子化処理して逆ＤＣＴ回路４に与え、逆ＤＣ
Ｔ回路４は逆量子化出力を逆ＤＣＴ処理して加算器５に
出力する。

【００３２】加算器５にはスイッチ15の出力も与える。
スイッチ15は、逆ＤＣＴ回路４の出力がＩピクチャに基
づくものである場合には０を加算器５に与え、Ｐピクチ
ャに基づくものである場合には後述する動き補償回路
９，10の一方の出力を加算器５に与え、Ｂピクチャに基
づくものである場合には動き補償回路９，10又は後述す
る加算器13の出力を加算器５に与える。加算器５は逆Ｄ
ＣＴ回路４の出力とスイッチ15の出力とを加算すること
により画像を復元して、フレームメモリ６，11に出力す
るようになっている。

【００３３】フレームメモリ11はＩ，Ｐピクチャの符号
化データに基づく加算器５からの符号化データを前方参
照画像として保持すると共に、保持した復号化データを
表示順で読出して復元画像データとしてスイッチ16を介
して出力する。また、フレームメモリ６はＢピクチャの
復号化データに基づく加算器５の出力を保持して、保持
した復号化データを表示順に読出して復元画像データと
してスイッチ16を介して出力するようになっている。ス
イッチ16は画像の出力フレーム順に応じて切換り、一連
のフレームの復元画像データを復号化データとして出力
するようになっている。

【００３４】フレームメモリ11は対応するＰ，Ｂピクチ
ャの復号タイミングで保持している参照画像データを動
き補償回路９に出力するようになっている。動き補償回
路９はフレームメモリ11からの参照画像データを動きベ
クトル抽出回路８からの動きベクトルに基づいて動き補
償して出力する。動き補償回路９の出力はスイッチ15に
供給すると共に、加算器13にも供給する。

【００３５】本実施例においては、２系統の復号化処理
回路を有している。即ち、可変長復号回路２、逆量子化
回路３、逆ＤＣＴ回路４、加算器５、動きベクトル抽出
回路８及び動き補償回路９を有する第１の復号化処理系
と、これらの回路と夫々同一構成の可変長復号回路32、
逆量子化回路33、逆ＤＣＴ回路34、加算器35、動きベク
トル抽出回路38及び動き補償回路39を有する第２の復号
化処理系とを備える。第２の復号化処理系は第１の復号
化処理系の復号化処理に必要な後方参照画像を作成する
ためのものである。

【００３６】可変長復号回路32はメモリ22からのＰピク
チャの符号化データを可変長復号化して逆量子化回路33
及び動きベクトル抽出回路38に出力する。動きベクトル
抽出回路38はＰピクチャについては、可変長復号出力に
含まれる動きベクトルを抽出して動き補償回路39に出力
する。逆量子化回路33は入力されたデータを逆量子化処
理して逆ＤＣＴ回路34に与え、逆ＤＣＴ回路34は逆量子
化出力を逆ＤＣＴ処理して加算器35に出力する。

【００３７】一方、メモリ22から読出されたＰピクチャ
についての前方参照画像は既に復号化されてフレームメ
モリ11に格納されるようになっている。動き補償回路39
はフレームメモリ11からの参照画像データを読出し、動
きベクトルに基づいて動き補償して加算器35に出力す
る。加算器35は逆ＤＣＴ回路34の出力と動き補償回路39
の出力とを加算することによりＰピクチャの画像を復元
して、スイッチ40の端子ａに出力するようになってい
る。スイッチ40の端子ｂにはフレームメモリ11から読出
した前方参照画像データを供給する。スイッチ40は、Ｂ
ピクチャの復号化時には端子ａを選択して加算器35から
の後方参照画像データをメモリ41に与え、第１の復号化
処理系によってＰピクチャを復号化する場合には端子ｂ
を選択して、フレームメモリ11からの画像データを前方
参照画像データとしてメモリ41に与えるようになってい
る。

【００３８】本実施例においては、メモリ41は参照画像
の動き補償範囲に基づく容量に設定している。復号化に
おける逆ＤＣＴ処理及び量子化処理は符号化時と同様に
ブロック単位で行う。即ち、加算器５はブロック単位の
復元画像データ又は予測誤差を出力している。また、動
き補償回路９は、加算器５の出力のブロック位置に対応
する参照画像の位置を動きベクトルによって補正して、
補正した位置のブロックデータを出力することにより、
参照画像データを動き補償するようになっている。即
ち、メモリ41は、動きベクトルによってブロック化位置
が補正されることを考慮して、加算器５の出力と同一の
ブロック位置を含む所定範囲の参照画像データを格納し
ていればよい。この理由から、本実施例においては、メ
モリ41は例えば１フレームの画素データの容量の半分の
容量に設定し、復号化しているブロックの位置に応じた
範囲の復号化データを保持するようになっている。

【００３９】動き補償回路９，10の出力はスイッチ15に
供給すると共に、加算器13にも供給する。加算器13は、
予測モードに応じて動き補償回路９，10の出力を加算し
てスイッチ15に出力するようになっている。

【００４０】次に、このように構成された実施例の動作
について図２及び図３を参照して説明する。図２は実施
例の動作を説明するためのタイミングチャートであり、
図２（ａ）は入力される符号化データのフレーム番号を
示し、図２（ｂ）はそのピクチャタイプを示し、図２
（ｃ）は符号バッファメモリ回路１の出力を示し、図２
（ｄ）はメモリ22の入出力を示し、図２（ｅ）はメモリ
41の後方又は前方参照画像を示し、図２（ｆ）はフレー
ムメモリ11の前方参照画像を示している。また、図３は
実施例の動作を説明するための説明図である。図３（ａ
１）は斜線によってフレームメモリ11に格納されている
前方参照画像を示し、図３（ａ２）は加算器５からの復
号化データのブロック位置を示し、図３（ａ３）は斜線
によってメモリ11に格納されている後方参照画像を示し
ている。また、図３（ｂ１）乃至（ｂ３）は夫々図３
（ａ１）乃至（ａ３）に対応しており、ブロック位置が
異なる場合を示している。

【００４１】符号化データは符号バッファメモリ回路１
に供給する。符号化データはＩ，Ｐ，Ｂピクチャを有し
ており、例えば、図５（ａ）の予測方法で符号化され
て、図５（ｂ）に示すフレーム順（図２（ａ））で入力
するものとする。符号バッファメモリ回路１は符号化処
理時間及び出力時間を考慮して、入力された符号化デー
タを保持してスイッチ21の端子ａ、メモリ22及びピクチ
ャ検出回路23に出力する。先ず、図２（ａ）に示すよう
に、フレーム番号０のＩピクチャの符号化データを入力
する。ピクチャ検出回路23はＩピクチャであることを検
出して検出信号をバッファ制御回路24に出力する。これ
により、バッファ制御回路24は、符号バッファメモリ回
路１を制御すると共にメモリ22を制御して、図２（ｃ）
に示すタイミングでフレーム番号０（０フレーム）のＩ
ピクチャの符号化データを読出して、メモリ22に書込む
（図２（ｄ））。本実施例では、この時点ではＩピクチ
ャは復号化しない。

【００４２】次に、図２（ａ）に示すように、フレーム
番号３（３フレーム）のＰピクチャの符号化データを入
力する。この符号化データは、バッファ制御回路24によ
って図２（ｃ）に示すタイミングで符号バッファメモリ
回路１から読出して、メモリ22に書込む（図２
（ｄ））。メモリ22はＦＩＦＯメモリであり、図２
（ｄ）に示すように、バッファ制御回路24は、３フレー
ムのＰピクチャの符号化データを書込むと同時に、０フ
レームのＩピクチャの符号化データを読出して、スイッ
チ21の端子ｂを介して可変長復号回路２に出力する。

【００４３】可変長復号回路２は、Ｉピクチャの符号化
データを可変長復号化して逆量子化回路３に出力する。
更に、符号化データは逆量子化回路３によって逆量子化
し、逆ＤＣＴ回路４によって逆ＤＣＴ処理して、符号化
側のＤＣＴ処理前のデータに戻して加算器５に出力す
る。この場合には、逆ＤＣＴ回路４の出力は０フレーム
の復元画像である。なお、これらの処理はブロック単位
で行う。スイッチ15は０を加算器５に与えており、加算
器５は逆ＤＣＴ回路４の出力をそのままフレームメモリ
11に与えて前方参照画像として記憶させる（図２
（ｆ））。また、フレームメモリ11に格納されている復
元画像データは表示順に読出して、スイッチ16を介して
出力する。

【００４４】次に、図２（ａ）に示すように、フレーム
番号１（１フレーム）のＢピクチャの符号化データを入
力する。バッファ制御回路24は、この符号化データを図
２（ｃ）に示すタイミングで符号バッファメモリ回路１
から出力させ、スイッチ21の端子ａを介して第１の復号
化処理系を構成する可変長復号回路２に与える。一方、
バッファ制御回路24は、１フレームの符号化データを符
号バッファメモリ回路１から出力させる前に、メモリ22
から３フレームのＰピクチャの符号化データを読出して
第２の復号化処理系を構成する可変長復号回路32に与え
ている。これにより、３フレームのＰピクチャの符号化
データに対する復号化処理が１フレームのＢピクチャの
符号化データに対する復号化処理に若干先んじて、且つ
略々並行して行われることになる。即ち、第１の復号化
処理系によるＢピクチャの復号に並行させて、その参照
画像であるＰピクチャの復号を第２の復号化処理系によ
って行う。

【００４５】可変長復号回路32は入力されたＰピクチャ
の符号化データを可変長復号し、更に、逆量子化回路33
及び逆ＤＣＴ回路34によってＤＣＴ処理前のデータに戻
して加算器35に供給する。また、動きベクトル抽出回路
38は可変長復号化出力から動きベクトルを抽出して動き
補償回路39に与える。図２（ｆ）に示すように、この時
点では、フレームメモリ11は３フレームのＰピクチャの
参照画像である０フレームの復元画像データを格納して
いる。動き補償回路39はフレームメモリ11から読出した
０フレームの参照画像データを動きベクトルに基づいて
動き補償して加算器35に与える。加算器35は逆ＤＣＴ回
路34からの予測誤差に動き補償した参照画像データを加
算して３フレームの画像をブロック単位で復元してスイ
ッチ40を介してメモリ41に供給する（図３（ｅ））。

【００４６】一方、可変長復号回路２は入力された１フ
レームのＢピクチャの符号化データを可変長復号化し、
更に、逆量子化回路３及び逆ＤＣＴ回路４によってＤＣ
Ｔ処理前のデータに戻して加算器５に供給する。また、
動きベクトル抽出回路８は可変長復号化出力から動きベ
クトルを抽出して動き補償回路９，10に与える。図３
（ａ１）乃至（ａ３）は逆ＤＣＴ回路４からの予測誤差
が画面上端の第１ブロックライン（図３（ａ２）参照）
のブロックに対応する場合を示している。この時点で
は、図２（ｆ）に示すように、フレームメモリ11には１
フレームの画像の前方参照画像である０フレームの復元
画像データが格納されている（図３（ａ１）の斜線
部）。また、１フレームの画像の後方参照画像となる３
フレームのＰピクチャは、Ｐピクチャの復号化処理がＢ
ピクチャの復号化処理よりも若干先行していることか
ら、図３（ａ３）の斜線部に示すように、第１ブロック
ラインを含む画面上側の画像データまで復元されてい
る。従って、後方参照画像データを動き補償することが
でき、Ｂピクチャの復号化が可能である。

【００４７】動き補償回路９，10は、夫々動きベクトル
に基づいて、フレームメモリ11及びメモリ41の復元画像
データのブロック化位置を補正して、動き補償したブロ
ックデータをスイッチ15及び加算器13に出力する。加算
器13は動き補償回路９，10の出力を加算してスイッチ15
に出力する。スイッチ15は、１フレームのＢピクチャの
予測方向が前方である場合には動き補償回路９の出力を
選択し、後方である場合には動き補償回路10の出力を選
択し、両方向である場合には加算器13の出力を選択し
て、動き補償した参照ブロックデータとして加算器５に
出力する。こうして、加算器５は逆ＤＣＴ回路４からの
ブロックデータとスイッチ15からのブロック単位の参照
画像データとを加算することにより、第１ブロックライ
ン中の所定のブロックの画像データを復元してフレーム
メモリ６に出力する。

【００４８】また、図３（ｂ１）乃至（ｂ３）は逆ＤＣ
Ｔ回路４からの予測誤差が画面中央の所定の１ブロック
ライン（図３（ｂ２）参照）のブロックに対応する場合
を示している。この時点においても、図３（ｂ１）に示
すように、フレームメモリ11は０フレームの前方参照画
像データを格納している。一方、メモリ41のメモリ容量
はフレームメモリ11よりも小さく設定しており、メモリ
41には３フレームのＰピクチャの復元画像データを更新
しながら書込んでいる。即ち、この時点では、図３（ｂ
３）の斜線部に示すように、メモリ41には画面中央の１
ブロックラインを含む画面垂直方向の略々中央の画像デ
ータを格納している。この場合にも、メモリ41に格納さ
れる画像データの画面上の範囲は動き補償範囲よりも広
い。従って、動き補償回路10が動きベクトルに基づいて
ブロック化位置を補正した場合でも、メモリ41から動き
補償した参照画像のブロックデータを読出すことができ
る。動き補償回路９，10は夫々フレームメモリ11，41か
ら動き補償したブロックデータを読出してスイッチ15及
び加算器13に出力する。加算器５は逆ＤＣＴ回路４の出
力とスイッチ15の出力とを加算して、画面中央の１ブロ
ックライン中の各ブロックについて復元画像データをブ
ロック単位で出力する。

【００４９】以後同様の動作を繰返すことにより、加算
器５から１フレームのＢピクチャの復元画像データをブ
ロック単位で出力させてメモリ６に格納する。メモリ６
によってＢピクチャの復元画像データをフレーム化し、
表示順に読出してスイッチ16を介して出力する。

【００５０】次に、図２（ａ）に示すように、フレーム
番号２（２フレーム）のＢピクチャの符号化データを入
力する。バッファ制御回路24は図２（ｃ）に示すタイミ
ングで２フレームのＢピクチャの符号化データをスイッ
チ21を介して可変長復号回路２に供給する。この場合に
も、バッファ制御回路24は符号バッファメモリ回路１か
らのＢピクチャの出力の前に、メモリ22に格納されてい
る３フレームのＰピクチャの符号化データを読出して可
変長復号回路32に供給する。こうして、１フレームのＢ
ピクチャの符号化データの復号化処理時と同様の処理を
行って、２フレームのＢピクチャを復号化し、復号化デ
ータをフレームメモリ６から表示順に読出してスイッチ
16を介して出力する。

【００５１】次に、図２（ａ）に示すように、フレーム
番号６（６フレーム）のＰピクチャの符号化データを入
力する。この符号化データは、バッファ制御回路24によ
って、図２（ｃ）に示すタイミングで符号バッファメモ
リ回路１から読出してメモリ22に書込む。メモリ22に格
納されていた３フレームのＰピクチャの符号化データは
スイッチ21の端子ｂを介して可変長復号回路２に供給す
る。そして、可変長復号回路２、逆量子化回路３及び逆
ＤＣＴ回路４によって予測誤差を復元する。

【００５２】一方、スイッチ40は、この復号化処理の若
干前のタイミングで端子ｂを選択し、フレームメモリ11
に格納されている０フレームの復元画像データを参照画
像としてメモリ41に供給する。この場合には、Ｂピクチ
ャの復号化処理時と同様に、３フレームのＰピクチャの
復号化処理ブロックの位置に応じて、０フレームの復元
画像データのメモリ41への転送を行う。即ち、例えば、
３フレームのＰピクチャの第１ブロックラインのブロッ
ク（図３（ａ２））の予測誤差が逆ＤＣＴ回路４から出
力されるタイミングでは、図３（ａ３）の斜線部に示す
ように、第１ブロックラインを含む画面上側の画像デー
タまで転送する。動き補償回路10はメモリ41からの画像
データのブロック化位置を動きベクトルに基づいて補正
して、動き補償した参照画像のブロックデータをスイッ
チ15を介して加算器５に出力する。加算器５は逆ＤＣＴ
回路４からの予測誤差と参照画像のブロックデータとを
加算して３フレームの画像をブロック単位で復元してフ
レームメモリ11に供給する。こうして、図２（ｆ）に示
すように、フレームメモリ11には３フレームの復元画像
データを、次に入力するフレーム番号４，５のＢピクチ
ャの参照画像として格納する。また、この復元画像デー
タは表示順に読出してスイッチ16を介して出力する。以
後同様の動作を繰返して、スイッチ16から表示順の復号
化データを出力する。

【００５３】このように、本実施例においては、Ｂ，Ｐ
ピクチャの符号化データを復号化処理する場合に必要な
後方又は前方参照画像用のメモリとして、動き補償範囲
に基づく小容量のメモリ41を採用し、Ｂ，Ｐピクチャの
復号化処理に対応させて後方参照画像の復号化を行って
メモリ41に格納しており、後方参照画像用にフレームメ
モリを用いる場合よりもメモリ容量を低減することがで
きる。これにより、回路規模を低減して低コスト化を図
ることができる。

【００５４】図４は本発明の他の実施例を示すブロック
図である。図４において図１と同一の構成要素には同一
符号を付して説明を省略する。図１の実施例において
は、２系統の復号化処理回路を設けているが、各系統の
復号化処理回路の構成は同一であるので、時分割処理す
ることによって共用化可能である。本実施例は時分割処
理によって回路規模の増加を防止したものである。

【００５５】本実施例は可変長復号回路32、逆量子化回
路33、逆ＤＣＴ回路34、加算器35、動きベクトル抽出回
路38及び動き補償回路39を削除し、バッファ制御回路24
に代えてバッファ制御回路45を用いてメモリ22から読出
した符号化データをスイッチ21の端子ｂを介して可変長
復号回路２に供給すると共に、加算器５の出力をスイッ
チ40の端子ａを介してメモリ41に与えるようにした点が
図１の実施例と異なる。バッファ制御回路45は検出信号
に基づいて符号バッファメモリ回路１を制御する。ま
た、バッファ制御回路45は、検出信号によってＩピクチ
ャ又はＰピクチャの符号化データが符号バッファメモリ
回路１から出力されたことが示された場合には、これら
の符号化データをメモリ22に記憶させ、Ｂピクチャの符
号化データが出力されたことが示された場合には、スイ
ッチ21に端子ａを選択させてＢピクチャの符号化データ
をそのまま可変長復号回路２に供給する。

【００５６】また、バッファ制御回路45は、符号バッフ
ァメモリ回路１からのＩ，Ｐピクチャの符号化データの
書込みと同時に、メモリ22に格納されているＩ，Ｐピク
チャを読出してスイッチ21の端子ｂを介して可変長復号
回路２に供給するようになっている。更に、バッファ制
御回路45は、符号バッファメモリ回路１からＢピクチャ
の符号化データを読出して可変長復号回路２に供給する
場合には、この読出しの前にメモリ22に格納されている
Ｐピクチャの符号化データを読出しを開始して可変長復
号回路２に出力すると共に、これらの読出しを例えば１
ブロック単位で時分割に行うようになっている。

【００５７】このように、本実施例においては、Ｐ，Ｂ
ピクチャの復号化処理とその後方参照画像のＰピクチャ
の復号化処理とを時分割で行うようになっている。例え
ば、ＮＴＳＣ画像については、一般的には、サンプリン
グ周波数が１３．５ＭＨｚに設定されている。これに対
し、現在の集積回路の動作速度は十分に早く、本実施例
における復号化処理に従来と同一の回路を用いた場合で
も、十分に時分割処理が可能である。

【００５８】次に、このように構成された実施例の動作
について説明する。

【００５９】本実施例においては、バッファ制御回路45
による制御とフレームメモリ11及びメモリ41の書込み及
び読出し制御とが図１の実施例と異なる。符号バッファ
メモリ回路１には図２（ａ），（ｂ）に示す符号化デー
タを入力するものとする。本実施例においては、符号バ
ッファメモリ回路１からの読出しは、図１の実施例と同
様である。即ち、最初に入力された０フレームのＩピク
チャの符号化データは、バッファ制御回路45によって、
図２（ｃ）に示すタイミングで符号バッファメモリ回路
１から読出す。バッファ制御回路45はこの符号化データ
をメモリ22に書込む。次に、３フレームのＰピクチャの
符号化データが符号バッファメモリ回路１から出力され
ると、バッファ制御回路45は、メモリ22からＩピクチャ
の符号化データを読出しながら、３フレームのＰピクチ
ャの符号化データをメモリ22に書込む。Ｉピクチャの符
号化データはスイッチ21の端子ａを介して可変長復号回
路２に与えて可変長復号させる。こうして、逆ＤＣＴ回
路４から０フレームの復元画像データを得る。この画像
データはフレームメモリ11に前方参照画像データとして
記憶させると共に、フレームメモリ11から表示順に読出
してスイッチ16から出力させる。

【００６０】次に、バッファ制御回路45は、符号バッフ
ァメモリ回路１から１フレームのＢピクチャの符号化デ
ータが出力される前に、メモリ22から３フレームのＰピ
クチャの符号化データを後方参照画像作成のために読出
す。本実施例においては、メモリ22からのＰピクチャの
符号化データはスイッチ21の端子ｂを介して可変長復号
回路２に供給する。こうして、逆ＤＣＴ回路４から３フ
レームのＰピクチャの予測誤差を得る。一方、動き補償
回路９はフレームメモリ11に格納されている０フレーム
の復元画像データを動きベクトルに基づくブロック化位
置でブロック化して、スイッチ15を介して加算器５に出
力する。加算器５は逆ＤＣＴ回路４の出力とスイッチ15
の出力とを加算して３フレームの復元画像データをブロ
ック単位で出力する。

【００６１】この場合には、スイッチ40に端子ａを選択
させて、加算器５からの復元画像データをメモリ41に順
次書込む。こうして、図３（ａ２）に示す第１ブロック
ラインのブロックを復号するために必要な範囲（図３
（ａ３）の斜線部）までの復号化データをメモリ41に書
込むと、バッファ制御回路45は、メモリ22からの読出し
を停止させて、符号化バッファメモリ回路１からＢピク
チャを出力させてスイッチ21の端子ａを介して可変長復
号回路２に供給する。こうして、逆ＤＣＴ回路４から１
フレームの第１ブロックラインの最初のブロックの予測
誤差を得る。１フレームの前方参照画像データはフレー
ムメモリ11に格納しており、必要な後方参照画像データ
はメモリ41に格納しており、動き補償回路９，10はこれ
らのメモリ11，41の画像データを動きベクトルに基づく
ブロック化位置でブロック化して出力する。加算器５は
スイッチ15から動き補償された参照画像のブロックデー
タが与えられて、逆ＤＣＴ回路４からの予測誤差に加算
することにより、最初のブロックの復元画像データを得
る。この画像データはフレームメモリ６に記憶させる。

【００６２】次に、バッファ制御回路45は、符号バッフ
ァメモリ回路１からのＢピクチャの読出しを停止させ、
メモリ22に格納されているＰピクチャを読出してスイッ
チ21の端子ｂを介して可変長復号回路２に供給する。こ
の場合には、フレームメモリ11に格納されている前方参
照画像データを用いて復号化を行う。以後、１ブロック
単位で符号バッファメモリ回路１とメモリ22とで読出し
を切換えて、Ｂピクチャとその後方参照画像であるＰピ
クチャとの復号化処理を交互に行う。これにより、Ｂピ
クチャの所定ブロックについて復号化する場合には、メ
モリ41にそのブロックを含む動き補償範囲の後方参照画
像データが既に復号されて格納される。こうして、Ｂピ
クチャを復号化して、復元画像データをフレームメモリ
６から表示順に読出すことができる。以後同様にして、
２フレームのＢピクチャも復号化する。

【００６３】６フレームのＰピクチャを復号する場合に
は、Ｐピクチャの符号化データを符号バッファメモリ回
路１から出力させる前に、スイッチ40に端子ｂを選択さ
せて、フレームメモリ11に格納されている３フレームの
参照画像データを読出して、図３（ａ２）に示す第１ブ
ロックラインのブロックを復号するために必要な範囲
（図３（ａ３）の斜線部）までメモリ41に書込む。次
に、Ｐピクチャの復号化を行って、復号化データをブロ
ック単位でフレームメモリ11に書込む。この書込みと同
時に、フレームメモリ11から次のデータを読出してメモ
リ41に転送する。以後同様の動作を繰返すことにより、
６フレームのＰピクチャの復号化を行う。

【００６４】このように、本実施例においても図１の実
施例と同様の効果を得ることができる。更に、回路の共
用化によって、図１の実施例よりも回路規模を低減する
ことができる。

【００６５】

【発明の効果】以上説明したように本発明によれば、Ｂ
ピクチャを含む画像符号化データの復号化に必要なメモ
リを削減して回路規模を小さくし、低コスト化すること
ができるという効果を有する。

【図面の簡単な説明】

【図１】本発明に係る画像復号化装置の一実施例を示す
ブロック図。

【図２】実施例の動作を説明するためのタイミングチャ
ート。

【図３】実施例の動作を説明するための説明図。

【図４】本発明の他の実施例を示すブロック図。

【図５】ハイブリッド方式の圧縮法を説明するための説
明図。

【図６】ブロック化を説明するための説明図。

【図７】従来の画像復号化装置を示すブロック図。

【図８】フレーム化を説明するための説明図。

【符号の説明】

１…符号バッファメモリ回路、６，11…フレームメモ
リ、21…スイッチ、22，41…メモリ、24…バッファ制御
回路

Claims (6)

【特許請求の範囲】
1. 【請求項１】 前方及び後方の参照画像を用いた両方向
   予測符号化データを含む符号化データが入力され、入力
   された符号化データを記憶する第１の記憶手段と、 前記入力された符号化データ又は前記第１の記憶手段か
   ら読出した符号化データを所定のブロック単位で復号化
   して復号化データを出力する第１の復号化手段と、 前記第１の復号化手段からの復号化データを参照画像デ
   ータとして記憶可能な第２の記憶手段と、 前記第１の記憶手段から読出した符号化データを前記第
   ２の記憶手段に記憶されている参照画像データを用いて
   復号化処理することにより、前記第１の復号化手段が復
   号化する符号化データの参照画像データを作成する第２
   の復号化手段と、 この第２の復号化手段からの参照画像データを少なくと
   も前記第１の復号化手段の復号化処理が可能な範囲だけ
   は記憶し、前記第１の復号化手段の復号化処理における
   参照画像データとして出力することが可能な第３の記憶
   手段と、 前記第１の復号化手段からの前記両方向予測符号化デー
   タに対する復号化データを記憶してフレーム化し表示順
   に出力する第４の記憶手段とを具備したことを特徴とす
   る画像復号化装置。
2. 【請求項２】 前記第２及び第４の記憶手段は、１フレ
   ームの画素データを記憶するフレームメモリによって構
   成し、前記第３の記憶手段は、前記フレームメモリより
   も小さい容量のメモリによって構成することを特徴とす
   る請求項１に記載の画像復号化装置。
3. 【請求項３】 前記第３の記憶手段は、前記第１の復号
   化手段の復号化処理における動き補償範囲の復号化デー
   タを記憶する容量を有することを特徴とする請求項１に
   記載の画像復号化装置。
4. 【請求項４】 前記第２の復号化手段は、前記第１の復
   号化手段が前記第３の記憶手段に記憶されている参照画
   像データを用いて復号化処理を行う場合には、前記第１
   の復号化手段の処理に先行すると共に並行して復号化処
   理を行うことを特徴とする請求項１に記載の画像復号化
   装置。
5. 【請求項５】 前記第３の記憶手段は、前記第１の復号
   化手段によって前記両方向予測符号化データを符号化す
   る場合には前記第２の復号化手段からの復号化データを
   後方参照画像データとして記憶し、前記第１の復号化手
   段が前記符号化データのうち前方予測符号化データを符
   号化する場合には、前記第２の記憶手段から転送された
   復号化データを前方参照画像データとして記憶すること
   を特徴とする請求項１に記載の画像復号化装置。
6. 【請求項６】 前記第２の復号化手段は、前記第１の復
   号化手段と共用化し、前記第１の復号化手段の復号化処
   理と前記第２の復号化手段の復号化処理とを前記第１の
   復号化手段によって時分割に行うことを特徴とする請求
   項１に記載の画像復号化装置。