JP3262464B2 - 画像復号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】［発明の目的］

【産業上の利用分野】本発明は、両方向予測符号化デー
タを含む符号化データを復号化する画像復号化装置に関
する。

【０００２】

【従来の技術】近年、画像の高能率符号化技術の確立に
伴って、画像のディジタル処理が普及してきている。高
能率符号化技術は、ディジタル伝送及び記録等の効率を
向上させるために、少ないビットレートで画像データを
符号化するものである。この高能率符号化においては、
ｍ×ｎ画素のブロック単位でＤＣＴ（離散コサイン変
換）処理等の直交変換を行っている。直交変換は、入力
される標本値を空間周波数成分等の直交成分に変換する
ものである。これにより空間的な相関成分が削減可能と
なる。直交変換された成分は量子化することにより、ブ
ロックの信号の冗長度を削減する。

【０００３】更に、量子化出力にハフマン符号化等の可
変長符号化を施すことにより、データ量を一層削減す
る。ハフマン符号化は、量子化出力の統計的符号量から
算出した結果に基づいて符号化を行うものであり、出現
確率が高いデータには短いビットを割当て、出現確率が
低いデータには長いビットを割当てる可変長符号化によ
って全体のデータ量を削減する。

【０００４】更に、高能率符号化を行う装置において
は、ＭＰＥＧ（Moving Picture experts group）等など
で検討されているハイブリッド方式が主流となってい
る。この方式では、フレーム内の画像をＤＣＴ処理する
フレーム内圧縮の外に、フレーム間の相関を利用して時
間軸方向の冗長度を削減するフレーム間圧縮も採用す
る。フレーム間圧縮は、一般の動画像が前後のフレーム
でよく似ているという性質を利用して、前後のフレーム
の差分を求め差分値（予測誤差）を符号化することによ
って、ビットレートを一層低減させるものである。特
に、画像の動きを予測してフレーム間差を求めることに
より予測誤差を低減する動き補償フレーム間予測符号化
が有効である。

【０００５】このように、ハイブリッド方式では、所定
フレームの画像データをそのままＤＣＴ処理して符号化
するフレーム内符号化の外に、所定フレームの画像デー
タとこのフレーム前後のフレームの参照画像データとの
差分データのみをＤＣＴ処理して符号化する予測符号化
とを採用する。予測符号化方法としては、時間的に前方
向の参照画像データを動き補償して予測誤差を求める前
方予測符号化と、時間的に後方向の参照画像データを動
き補償して予測誤差を求める後方予測符号化と、符号化
効率を考慮して、前方若しくは後方のいずれか一方又は
両方向の平均を用いた両方向予測符号化とがある。

【０００６】フレーム内符号化によって符号化されたフ
レーム（以下、Ｉピクチャという）はフレーム内情報の
みによって符号化されているので、単独の符号化データ
のみによって復号可能である。従って、ＭＰＥＧ規格に
おいては、エラー伝播防止等のために、Ｉピクチャを固
定周期（例えば１２フレーム）に１枚挿入するようにな
っている。ＭＰＥＧ規格では、このＩピクチャを用いた
前方予測符号化によってフレーム間符号化フレーム（以
下、Ｐピクチャという）を得る。なお、Ｐピクチャは前
方のＰピクチャを前方予測符号化することによっても得
られる。また、前方若しくは後方のいずれか一方又は両
方向のＩ，Ｐピクチャを用いた両方向予測符号化によっ
て両方向予測適応切換フレーム（以下、Ｂピクチャとい
う）を得る。

【０００７】図５はこの方式の圧縮法を説明するための
説明図である。図５（ａ）は入力されるフレーム画像を
示し、図５（ｂ）は符号化データを示し、図５（ｃ）は
復号化データを示している。また、図６はブロック化を
説明するための説明図である。

【０００８】フレーム番号０のフレーム画像はフレーム
内符号化する。このフレーム画像を参照画像として用い
てフレーム番号３のフレーム画像を前方予測符号化す
る。図５（ｂ）の矢印はこのような符号化の予測方向を
示しており、フレーム番号６のフレーム画像も前方のフ
レーム番号３のフレーム画像を参照画像として前方予測
符号化する。また、フレーム番号１，２のフレーム画像
はフレーム番号０，３のフレーム画像を参照画像として
両方向予測符号化する。また、フレーム番号４，５のフ
レーム画像はフレーム番号３，６のフレーム画像を参照
画像として両方向予測符号化する。

【０００９】即ち、図５（ｂ）に示すように、先ず、フ
レーム番号０の画像データをフレーム内符号化してＩピ
クチャを得る。この場合には、フレーム番号０の画像デ
ータをメモリ等によってフレーム化すると共に、図６に
示すように、８画素×８ライン毎にブロック化し、ブロ
ック単位でＤＣＴ処理を施す。なお、図中、実線で示す
ＯＤＤは奇数フィールドの走査線を示し、破線で示すＥ
ＶＥＮは偶数フィールドの走査線を示している。ＤＣＴ
処理によって得たＤＣＴ変換係数は所定の量子化係数を
用いて量子化した後、可変長符号化を施して符号化デー
タを得る。

【００１０】次に入力されるフレーム番号１のフレーム
画像については、フレーム番号０，３のフレーム画像を
用いた両方向予測符号化を行うので、フレーム番号３の
フレーム画像を符号化するまではメモリに保持する。同
様に、フレーム番号２のフレーム画像についてもフレー
ム番号３のフレーム画像の符号化の後に符号化する。フ
レーム番号３のフレーム画像については、フレーム番号
０のフレーム画像を参照画像として用いた前方予測符号
化を行ってＰピクチャを得る（図５（ｂ））。即ち、フ
レーム番号０の画像データを動きベクトルを用いて動き
補償し、動き補償した参照画像データと現フレーム（フ
レーム番号３のフレーム）の画像データとの差分（予測
誤差）をＤＣＴ処理する。ＤＣＴ変換係数を量子化した
後可変長符号化することはフレーム内符号化時と同様で
ある。

【００１１】次に、既に符号化したフレーム番号０，３
のＩピクチャ，Ｐピクチャを用いてフレーム番号１，２
のフレーム画像を順次両方向予測符号化する。こうし
て、図５（ｂ）に示すように、２つのＢピクチャを得
る。以後同様にして、図５（ｂ）に示すように、フレー
ム番号６，４，５，…のフレーム画像の順に符号化を行
って、Ｐピクチャ，Ｂピクチャ，Ｂピクチャ，…を得
る。

【００１２】このように、符号化時においては、実際に
入力されるフレーム順と異なるフレーム順で符号化を行
う。復号化時には、符号化データの復号化順を元に戻し
てフレーム番号０，１，２，…の順に復号化データを出
力する必要がある。図７はこのような従来の画像復号化
装置を示すブロック図である。また、図８はフレーム化
を説明するための説明図であり、図８（ａ）はノンイン
ターレース走査時のフレーム化を示し、図８（ｂ）はイ
ンターレース走査時のフレーム化を示している。

【００１３】符号バッファメモリ回路１には符号化デー
タを与える。この符号化データは図５（ｂ）に示す符号
化順で、画像データ又は予測誤差をＤＣＴ処理して量子
化した後、可変長符号化したものである。符号バッファ
メモリ回路１は入力された符号化データを保持し、復号
化処理時間と出力処理時間との時間あわせを行って可変
長復号回路２に出力する。可変長復号回路２は符号化デ
ータを可変長復号化して逆量子化回路３及びバッファ制
御回路７に出力する。バッファ制御回路７によって符号
バッファメモリ回路１を制御する。

【００１４】可変長復号回路２の出力は逆量子化回路３
によって逆量子化し、逆ＤＣＴ回路４によって逆ＤＣＴ
処理して符号化側のＤＣＴ処理前のデータに戻す。い
ま、フレーム番号０の符号化データであるＩピクチャが
入力されているものとする。この場合には、逆ＤＣＴ回
路４の出力がフレーム番号０の復元画像であり、逆ＤＣ
Ｔ回路４の出力をそのままフレームメモリ６に与える。

【００１５】逆ＤＣＴ回路４の出力はブロック単位の画
素データであり、フレームメモリ６は１フレーム分の画
素データを保持する。ノンインターレース表示を行う場
合には、図８（ａ）に示すように、フレームメモリ６は
逆ＤＣＴ回路４の出力をフレーム順に配列して、ラスタ
順に出力する。また、インターレース表示を行う場合に
は、図８（ｂ）に示すように、フレームメモリ６は逆Ｄ
ＣＴ回路４の出力を奇数フィールドのデータと偶数フィ
ールドのデータとに分けて配列して、各フィールド毎に
ラスタ順で出力する。フレームメモリ６の出力はスイッ
チ16を介して復号化データとして出力する（図５
（ｃ））。逆ＤＣＴ回路４からのフレーム番号０の復元
画像データはＰ，Ｂピクチャの復号化のためにフレーム
メモリ12にも供給する。

【００１６】なお、ＤＣＴブロックがフレーム化後にブ
ロック化されている場合には、ノンインターレース表示
を行うものとすると、ライン方向の画素配列は変化させ
る必要がないので、出力順を変更するメモリとしては、
８ライン（１ブロックライン）分のデータを保持する容
量があればよい。しかし、インターレース表示を可能に
するためには、奇数フィールドと偶数フィールドとに分
けてデータを出力する必要があることから、更に多くの
メモリを必要とする。このため、一般的には、表示順を
変更するためのメモリとしてフレームメモリを採用して
フレーム化を行うことが多い。

【００１７】次に、フレーム番号３のＰピクチャを復号
化する。この場合には、逆ＤＣＴ回路４の出力は予測誤
差である。一方、動きベクトル抽出回路８は可変長復号
化回路２の出力に含まれる動きベクトルを抽出して動き
補償回路10に与えており、動き補償回路10はフレームメ
モリ12からＩピクチャの復元画像データを読出して、動
きベクトルを用いて動き補償する。動き補償回路10の出
力はスイッチ15を介して加算器５に与える。加算器５は
動き補償したフレーム番号０の復元画像データと逆ＤＣ
Ｔ回路４からの予測誤差とを加算してフレーム番号３の
復元画像データを得る。このデータはフレームメモリ11
に供給する。

【００１８】次に、フレーム番号１のＢピクチャを復号
化する。この場合にも、逆ＤＣＴ回路４の出力は予測誤
差である。動きベクトル抽出回路８はフレーム番号３の
画像とフレーム番号１の画像との間の動きベクトルを可
変長復号出力から抽出して動き補償回路９に与え、動き
補償回路９はこの動きベクトルを用いて、フレームメモ
リ11からフレーム番号３の復元画像データを動き補償し
て加算器13に出力する。加算器13は符号化時の予測モー
ドに応じて、動き補償回路９，10の出力を加算し、スイ
ッチ15を介して加算器５に供給する。加算器５は予測誤
差にスイッチ15の出力を加算してフレーム番号１のＢピ
クチャの復元画像データを得る。この画像データはフレ
ームメモリ６に与えてフレーム化した後、スイッチ16を
介して出力する（図５（ｃ））。

【００１９】次に、フレーム番号２のＢピクチャを復号
化する。この場合にも、逆ＤＣＴ回路４の出力とスイッ
チ15の出力とを加算してフレーム番号２のＢピクチャの
復元画像データを得る。この画像データはフレームメモ
リ６に与えてフレーム化した後、スイッチ16を介して出
力する（図５（ｃ））。次に、図５（ｃ）に示すよう
に、フレームメモリ11に格納しているフレーム番号３の
復元画像データをスイッチ14及びスイッチ16を介して表
示順に復号化データとして出力する。

【００２０】以後、同様の動作を繰返して、図５（ｃ）
の復号化順で復元した画像データ（復号化データ）を出
力する。なお、復号処理と出力処理とはメモリのオーバ
ラップ分とシステム中の動作時間とを考慮しながら制御
される。

【００２１】このように、Ｐピクチャは前方フレームの
参照画像を用いて復号化しており、復号化には参照画像
を保持するための１フレーム分のメモリが必要である。
また、Ｂピクチャは前方及び後方フレームの参照画像を
用いて復号化しており、これらの参照画像を保持するた
めの２フレーム分のメモリが必要である。更に、符号化
処理はＤＣＴブロック単位で行っていることから、上述
したように、加算器５の出力をフレーム化してインタレ
ース表示又はノンインターレース表示を可能にする１フ
レーム分のメモリが必要である。この場合、Ｉ，Ｐピク
チャの復号化データはＢピクチャの参照画像として用い
るためにフレームメモリ11，12に記憶させており、これ
らのフレームメモリ11，12からの読出しを制御して出力
することにより、これらのフレームメモリ11，12をフレ
ーム化用に兼用することができる。しかし、Ｂピクチャ
の復号化データは参照画像用として用いられることはな
くフレームメモリ11，12に記憶されないので、フレーム
化のためにフレームメモリ６を設ける必要がある。

【００２２】

【発明が解決しようとする課題】このように、上述した
従来の画像復号化装置においては、Ｂピクチャを含む画
像符号化データを復号化するためには、多数のメモリが
必要であり、回路規模が増大すると共にコスト高である
という問題点があった。

【００２３】本発明は、Ｂピクチャを含む画像符号化デ
ータの復号化に必要なメモリを削減して回路規模を小さ
くし、低コスト化することができる画像復号化装置を提
供することを目的とする。

【００２４】

【課題を解決するための手段】本発明の請求項１に係る
画像復号化装置は、前方及び後方の参照画像を用いた両
方向予測符号化データを含む符号化データが入力され、
入力された符号化データを所定のブロック単位で復号化
して復号化データを出力する復号化手段と、入力された
前記両方向予測符号化データを保持する記憶手段と、入
力された前記両方向予測符号化データ及び前記記憶手段
に格納された前記両方向予測符号化データを前記復号化
手段に順次与えて、同一の前記両方向予測符号化データ
について２回の復号化処理を行わせる制御手段と、前記
復号化手段からの前記両方向予測符号化データについて
の１回目の復号化処理による復号化データを少なくとも
１ブロックライン分保持すると共に、保持した復号化デ
ータのうち一方のフィールドの復号化データを表示順に
出力する第１の出力手段と、前記復号化手段からの前記
両方向予測符号化データについての２回目の復号化処理
による復号化データを少なくとも１ブロックライン分保
持すると共に、保持した復号化データのうち他方のフィ
ールドの復号化データを表示順に出力する第２の出力手
段とを具備したものであり、本発明の請求項４に係る画
像復号化装置は、前方及び後方の参照画像を用いた両方
向予測符号化データを含む符号化データが入力され、入
力された符号化データを所定のブロック単位で復号化し
て復号化データを出力する復号化手段と、前記復号化手
段からの前記両方向予測符号化データに対する復号化デ
ータのうち一方フィールドの復号化データを表示順に出
力する第３の出力手段と、前記復号化手段からの前記両
方向予測符号化データに対する復号化データのうち他方
フィールドの復号化データを保持して、前記第３の出力
手段による復号化データの出力終了後に、表示順に出力
する第４の出力手段とを具備し、前記第４の出力手段
は、前記両方向予測符号化データに対する復号化データ
のうち他方フィールドの復号化データを保持するフィー
ルドメモリによって構成し、前記第３の出力手段は、少
なくとも一方フィールドの１ブロックライン分の復号化
データを保持可能な第３及び第４のメモリを有し、前記
第３及び第４のメモリの書込み及び読出しを制御するこ
とにより、前記両方向予測符号化データに対する復号化
データのうち 一方フィールドの復号化データを保持して
表示順に出力するものであり、本発明の請求項５に係る
画像復号化装置は、前方及び後方の参照画像を用いた両
方向予測符号化データを含む符号化データが入力され、
入力された符号化データを所定のブロック単位で復号化
して復号化データを出力する復号化手段と、入力された
前記両方向予測符号化データを保持する第１の記憶手段
と、入力された前記両方向予測符号化データ及び前記第
１の記憶手段に格納された前記両方向予測符号化データ
を前記復号化手段に順次与えて、同一の前記両方向予測
符号化データについて２回の復号化処理を行わせる制御
手段と、前記復号化手段からの前記両方向予測符号化デ
ータについての１回目の復号化処理による符号化データ
のうち一方のフィールドを保持する第２の記憶手段と、
２回目の符号化処理時間に前記第２の記憶手段に記憶さ
れた一方のフィールドを読出し表示順に出力する手段
と、前記第２の記憶手段から読出された領域に２回目の
復号処理による復号化データのうち他方のフィールドを
順次記憶する手段とを具備し、前記一方又は他方のフィ
ールドの復号化データを表示順に出力するものである。

【００２５】

【作用】本発明の請求項１において、復号化手段は１画
像の符号化データを１画像の表示時間の１／２の時間内
に復号化可能である。両方向予測符号化データが入力さ
れると、記憶手段はこの両方向予測符号化データを記憶
する。入力された両方向予測符号化データは復号化手段
に与えて１回目の復号化処理を行う。復号化手段からの
復号化データは第１の出力手段に与えて、１ブロックラ
イン分保持させる。第１の出力手段は保持した復号化デ
ータのうち一方のフィールドの復号化データを表示順に
出力する。一方、制御手段は、両方向予測符号化データ
についての１回目の復号化処理が終了すると、記憶手段
に格納されている両方向予測符号化データを復号化手段
に与えて復号化させる。第２の出力手段は２回目の復号
化処理による復号化データを１ブロックライン分保持し
て他方のフィールドの復号化データを表示順に出力す
る。

【００２６】本発明の請求項４において、復号化手段は
１画像の符号化データを１画像の表示時間の１／２の時
間内に復号化可能である。復号化手段からの両方向予測
符号化データに対する復号化データは第３及び第４の出
力手段に与える。第３の出力手段は両方向予測符号化デ
ータに対する復号化データのうち一方フィールドの復号
化データを表示順に出力する。第４の出力手段は入力さ
れた復号化データのうち他方フィールドの復号化データ
を記憶しており、第３の出力手段による復号化データの
出力が終了すると、記憶している他方フィールドの復号
化データを表示順に出力する。

【００２７】

【実施例】以下、図面を参照して本発明の実施例につい
て説明する。図１は本発明に係る画像復号化装置の一実
施例を示すブロック図である。図１において図７と同一
の構成要素には同一符号が付してある。本実施例は符号
化データを復号化してインターレース表示の表示順で復
号化データを出力するものである。

【００２８】符号化データは符号バッファメモリ回路１
に供給する。この符号化データは、ＤＣＴ処理、量子化
処理及び可変長符号化処理によって作成されたものであ
り、フレーム内の処理によるＩピクチャ、前方又は後方
フレームの参照画像を用いたＰピクチャ及び両方向フレ
ームの参照画像を用いたＢピクチャを有している。ま
た、符号化データはＰ，Ｂピクチャ作成時に用いた動き
ベクトルの情報も含んでいる。なお、ＤＣＴ処理はフレ
ーム化後にブロック化して得たブロック単位で行う。

【００２９】符号バッファメモリ回路１は入力された符
号化データを保持し、復号化処理時間と出力処理時間と
の時間あわせを行って出力する。本実施例においては、
符号バッファメモリ回路１の出力はスイッチ21の端子
ａ、メモリ22及びピクチャ検出回路23に供給するように
なっている。ピクチャ検出回路23は入力された符号化デ
ータのピクチャタイプを検出して、検出信号をバッファ
制御回路24に出力する。

【００３０】バッファ制御回路24は検出信号に基づいて
符号バッファメモリ回路１を制御する。また、バッファ
制御回路24は、検出信号によってＢピクチャが入力され
ていることが示された場合には、入力されたＢピクチャ
の符号化データをメモリ22に記憶させるための書込みア
ドレスを発生すると共にスイッチ21に端子ａを選択させ
て、符号バッファメモリ回路１の出力を可変長復号回路
２に供給する。また、バッファ制御回路24は符号バッフ
ァメモリ回路１からのＢピクチャの復号化が終了する
と、メモリ22に読出しアドレスを与えると共にスイッチ
21に端子ｂを選択させて、メモリ22に格納されているＢ
ピクチャの符号化データを可変長復号回路２に供給する
ようになっている。なお、バッファ制御回路24は入力さ
れている符号化データがＩ，Ｐピクチャである場合に
は、スイッチ21に端子ａを選択させるようになってい
る。メモリ22はＢピクチャの符号化データを記憶する。
なお、Ｂピクチャの符号量はＩピクチャの符号量よりも
十分に小さく、画素データを保持するフレームメモリの
約１／４の容量があればよい。

【００３１】可変長復号回路２はスイッチ21を介して符
号化データが与えられて、可変長復号化処理によって符
号化側の可変長符号化処理前のデータに戻して、逆量子
化回路３及び動きベクトル抽出回路８に出力する。動き
ベクトル抽出回路８はＰ，Ｂピクチャについては、可変
長復号出力に含まれる動きベクトルを抽出して動き補償
回路９，10に出力する。逆量子化回路３は入力されたデ
ータを逆量子化処理して逆ＤＣＴ回路４に与え、逆ＤＣ
Ｔ回路４は逆量子化出力を逆ＤＣＴ処理して加算器５に
出力する。

【００３２】加算器５にはスイッチ15の出力も与える。
スイッチ15は、逆ＤＣＴ回路４の出力がＩピクチャに基
づくものである場合には０を加算器５に与え、Ｐピクチ
ャに基づくものである場合には後述する動き補償回路
９，10の一方の出力を加算器５に与え、Ｂピクチャに基
づくものである場合には動き補償回路９，10又は後述す
る加算器13の出力を加算器５に与える。加算器５は逆Ｄ
ＣＴ回路４の出力とスイッチ15の出力とを加算すること
により画像を復元して、フレームメモリ11，12に出力す
ると共に、出力部25のスイッチ26を介してメモリ27，28
に出力する。

【００３３】メモリ27，28の出力はスイッチ29，20を介
してスイッチ16に出力する。スイッチ26，29は連動して
切換り、スイッチ26を介してメモリ27の書込みが行われ
ている場合には、メモリ28からスイッチ29を介してデー
タの読出しを行い、メモリ28に書込が行われいる場合に
は、メモリ27からデータの読出しを行うようになってい
る。メモリ27，28は１ブロックラインの画素データを保
持する容量を有している。

【００３４】フレームメモリ11，12は参照画像となる
Ｉ，Ｐピクチャの復元画像データを保持する。フレーム
メモリ11，12は対応するＰ，Ｂピクチャの復号タイミン
グで保持している参照画像データを動き補償回路９，10
に出力するようになっている。動き補償回路９，10は夫
々フレームメモリ11，12からの参照画像データを動きベ
クトル抽出回路８からの動きベクトルに基づいて動き補
償して出力する。動き補償回路９，10の出力はスイッチ
15に供給すると共に、加算器13にも供給する。加算器13
は、予測モードに応じて動き補償回路９，10の出力を加
算してスイッチ15に出力するようになっている。

【００３５】また、スイッチ14は、画像の出力フレーム
順に応じて切換り、フレームメモリ11，12に格納されて
いる復元画像データをスイッチ16に出力する。スイッチ
16は画像の出力フレーム順に応じて切換って、一連のフ
レームの復元画像データを復号化データとして出力する
ようになっている。

【００３６】本実施例においては、可変長復号回路２、
逆量子化回路３、逆ＤＣＴ回路４、加算器５、動きベク
トル抽出回路８、動き補償回路９，10、フレームメモリ
11，12、加算器13及びスイッチ15は１フレームの画像表
示時間内にＢピクチャについて２回の復号処理を行うこ
とができるようになっている。例えば、ＮＴＳＣ画像に
ついては、一般的には、サンプリング周波数が１３．５
ＭＨｚに設定されている。従って、ＮＴＳＣ画像の符号
化データを復号化する場合には、２７ＭＨｚのクロック
を用いて復号化処理を行えばよく、現在の集積回路の動
作速度を考慮すると、復号化処理に用いるこれらの回路
は従来と同一のものでよい。

【００３７】次に、このように構成された実施例の動作
について図２を参照して説明する。図２は図１中のメモ
リ27，28の書込み及び読出しを説明するための説明図で
ある。図２（ａ），（ｂ）は夫々１回目の復号化時の書
込み及び読出しを示し、図２（ｃ），（ｄ）は夫々２回
目の復号化時の書込み及び読出しを示している。なお、
図２中では、奇数フィールドのデータを実線にて示し、
偶数フィールドのデータを破線にて示している。

【００３８】符号化データは符号バッファメモリ回路１
に供給する。符号化データはＩ，Ｐ，Ｂピクチャを有し
ており、例えば、図５（ｂ）のフレーム順で入力するも
のとする。符号バッファメモリ回路１は符号化処理時間
及び出力時間を考慮して、入力された符号化データを保
持してスイッチ21の端子ａ及びピクチャ検出回路23に出
力する。先ず、図５（ｂ）に示すように、フレーム番号
０のＩピクチャの符号化データが入力されるものとす
る。ピクチャ検出回路23はＩピクチャであることを検出
して検出信号をバッファ制御回路24に出力する。これに
より、バッファ制御回路24は、符号バッファメモリ回路
１を制御すると共に、スイッチ21に端子ａを選択させ
る。

【００３９】符号バッファメモリ回路１によって遅延さ
れたＩピクチャの符号化データは、スイッチ21を介して
可変長復号回路２に与えて可変長復号化する。更に、逆
量子化回路３によって逆量子化し、逆ＤＣＴ回路４によ
って逆ＤＣＴ処理して、符号化側のＤＣＴ処理前のデー
タに戻して加算器５に出力する。この場合には、逆ＤＣ
Ｔ回路４の出力はフレーム番号０の復元画像である。な
お、これらの処理はブロック単位で行う。スイッチ15は
０を加算器５に与えており、加算器５は逆ＤＣＴ回路４
の出力をそのままフレームメモリ12に与える。

【００４０】フレームメモリ12によって、各ブロックの
復号化データは１フレーム分蓄積され、所定の出力タイ
ミングにおいて、表示順に読出してスイッチ14，16を介
して出力する。

【００４１】符号バッファメモリ回路１には次にフレー
ム番号３のＰピクチャの符号化データが入力されてい
る。ピクチャ検出回路３はＰピクチャが入力されている
ことを示す検出信号をバッファ制御回路24に出力し、バ
ッファ制御回路24はスイッチ21に端子ａを選択させる。
符号バッファメモリ回路１によって所定時間遅延された
Ｐピクチャの符号化データはスイッチ21を介して可変長
復号回路２に供給して可変長復号する。可変長復号回路
２の出力は逆量子化回路３及び逆ＤＣＴ回路４によって
ＤＣＴ処理前のデータに戻すと共に、動きベクトル抽出
回路８にも与える。動きベクトル抽出回路８によって、
Ｐピクチャの符号化データに含まれる動きベクトルを抽
出して動き補償回路10に与える。

【００４２】フレームメモリ12はフレーム番号０のＩピ
クチャの復号化データを参照画像として保持しており、
動き補償回路10はフレームメモリ12のデータを読出し
て、動きベクトルを用いて動き補償する。この動き補償
された参照画像のデータはスイッチ15を介して加算器５
に与える。逆ＤＣＴ回路４の出力は復号された予測誤差
であり、加算器５はこの予測誤差にスイッチ15からの参
照画像のデータを加算することにより、フレーム番号３
の画像データを復元する。この画像データはフレームメ
モリ11に格納する。

【００４３】次に、符号バッファメモリ回路１にはフレ
ーム番号１のＢピクチャの符号化データが入力されてい
る。ピクチャ検出回路23はＢピクチャの符号化データが
入力されたことを示す検出信号をバッファ制御回路24に
出力する。そうすると、バッファ制御回路24は符号バッ
ファメモリ回路１からのＢピクチャの符号化データをス
イッチ21を介して可変長復号回路２に出力させると共
に、メモリ22にも与えて格納させる。

【００４４】本実施例においては、Ｂピクチャについて
は、１フレームの画像表示期間内に２回の復号化処理を
行う。可変長復号回路２はＢピクチャの符号化データを
可変長復号し、逆量子化回路３及び逆ＤＣＴ回路４によ
って元の画素データに戻す。一方、動きベクトル抽出回
路８は可変長復号出力からフレーム番号０，３の参照画
像に対応する動きベクトルを抽出して夫々動き補償回路
10，９に出力する。なお、予測モードによっては、いず
れか一方の動きベクトルのみが抽出されることもある。

【００４５】フレームメモリ12，11は夫々フレーム番号
０，３の復元画像データを参照画像データとして保持し
ており、動き補償回路９，10はこれらの復元画像データ
を読出して、動きベクトルに基づいて動き補償してスイ
ッチ15及び加算器13に出力する。即ち、動き補償回路
９，10は、逆ＤＣＴ回路４から出力された所定ブロック
の復号化データに対応するブロック化位置を動きベクト
ルによって補正して、補正したブロック化位置のブロッ
クデータを動き補償した参照画像データとして出力す
る。加算器13は動き補償回路９，10の出力を加算してス
イッチ15に出力する。スイッチ15は、予測方向が前方で
ある場合には動き補償回路10の出力を選択し、後方であ
る場合には動き補償回路９の出力を選択し、両方向であ
る場合には加算器13の出力を選択して、動き補償した参
照画像データとして加算器５に出力する。

【００４６】こうして、加算器５は逆ＤＣＴ回路４から
のブロックデータとスイッチ15からのブロック単位の参
照画像データとを加算することにより、各ブロック単位
でフレーム番号１の画像データを復元してスイッチ26に
出力する。スイッチ26，29は１ブロックライン毎に切換
る。

【００４７】即ち、加算器５からのブロックデータは１
ブロックライン毎にメモリ27，28を切換えて記録する。
また、メモリ27，28からの読出しも書込と同時に切換え
る。例えば、図２（ａ）に示すように、画面最上端の第
１ブロックラインのデータをメモリ27に書込んだ場合に
は、加算器５からの次の１ブロックライン（第２ブロッ
クライン）の各ブロックデータはメモリ28に書込む。そ
して、このメモリ28への第２ブロックラインのブロック
データの書込と同時に、メモリ27から第１ブロックライ
ンの奇数フィールドのデータを表示順に読出してスイッ
チ29を介して出力する。同様にして、加算器５からの第
３ブロックラインの各ブロックデータをメモリ27に書込
むと同時に、メモリ28から第２ブロックラインの奇数フ
ィールドのデータを表示順に読出してスイッチ29を介し
て出力する。

【００４８】以後同様の動作を繰返して、図２（ｂ）に
示すように、奇数フィールドの復号化データをスイッチ
29，16を介して表示順に順次出力する。上述したよう
に、Ｂピクチャの復号化処理は１フレームの表示時間の
１／２の時間以内に行うことができ、奇数フィールドの
復号化データは１フィールド時間で出力される。こうし
て、インターレース表示の奇数フィールドの画像データ
を得る。

【００４９】一方、バッファ制御回路24は、フレーム番
号１のＢピクチャに対する１回目の復号化処理が終了す
ると、スイッチ21に端子ｂを選択させて、メモリ22に格
納されているフレーム番号１のＢピクチャの符号化デー
タを可変長復号回路２に与える。この場合には、１回目
の復号化処理と同様の処理が行われて、加算器５はフレ
ーム番号１のＢピクチャの復号化データをブロック単位
で順次出力する。

【００５０】加算器５からの第１ブロックラインの各ブ
ロックデータは、図２（ｃ）に示すように、スイッチ26
を介してメモリ27に順次書込む。次の第２ブロックライ
ンの各ブロックデータはメモリ28に順次書込み、この書
込と同時にメモリ27からの第１ブロックラインの偶数フ
ィールドの画素データを表示順に順次読出す。以後同様
の動作を繰返して、図２（ｄ）に示すように、偶数フィ
ールドの画素データを表示順に読出して、スイッチ29，
16を介して出力する。偶数フィールドの復号化データの
出力は１フレームの表示時間の後半の１／２の時間に行
う。こうして、インターレース表示の偶数フィールドの
復号化データを得る。

【００５１】次に、フレーム番号２のＢピクチャの符号
化データについても、符号化処理を１フレームの表示期
間に２回行って、奇数フィールドと偶数フィールドとに
分けて、復号化データを出力する。次に、フレームメモ
リ11に格納されているフレーム番号３の復元画像データ
を表示順に読出して、スイッチ14，16を介して出力す
る。以後、同様の動作を繰返すことにより、図５（ｃ）
の復号化データを得る。

【００５２】このように、本実施例においては、１フレ
ームの画像表示時間内にＢピクチャの復号化処理を２回
行い、１回目の復号化処理によって得られるブロックデ
ータを１ブロックライン分ずつメモリに記憶させ、奇数
フィールドのデータのみを表示順に読出すことにより、
インターレースの奇数フィールドの復号化データを得、
同様にして、２回目の復号化処理によって得られるブロ
ックデータを１ブロックライン分ずつメモリに記憶さ
せ、偶数フィールドのデータのみを表示順に読出すこと
により、インターレースの偶数フィールドの復号化デー
タを得る。従って、メモリ27，28としては１ブロックラ
イン分の容量を有していればよい。即ち、メモリ22，2
7，28の総容量は比較的小さくてよく、従来に比して復
号化に必要なメモリ容量を低減することができる。これ
により、回路規模を低減して低コスト化を図ることがで
きる。

【００５３】なお、本実施例においては、Ｂピクチャを
２回復号する動作を明確にするために、入力された符号
化データを保持する符号バッファメモリ回路１とＢピク
チャの符号化データを記憶するメモリ22を別のメモリと
して説明したが、入力されたＢピクチャ符号化データは
１度、符号バッファメモリ回路１に保持されているの
で、これを２回読出すことで本実施例を実現することも
可能である。

【００５４】なお、本実施例ではメモリ27とメモリ28は
１ブロックラインの画素データを保持する容量を有す
る。このため１ブロックライン時間内に符号化画像の復
号を終了させる必要がある。

【００５５】ところで、符号化データは可変長であるの
で符号量が多いブロックと少ないブロックが存在する。
このため符号量が多いブロックラインでは、使用するメ
モリによっては、メモリのアクセスタイムにより復号終
了処理時間が１ブロックライン時間内でおさまらない場
合がある。

【００５６】このため、例えばメモリ27とメモリ28とを
１つのフィールドメモリに置き換えて、Ｂピクチャの１
回目の復号処理時には復号データのうち、一方のフィー
ルドをこのフィールドメモリに保持し、２回目の復号処
理時には、１回目の復号時に保持した一方のフィールド
を読出し、表示順に出力しながら、この読出された領域
に２回目の復号処理で得られた復号データのうち、他方
のフィールドを順次保持していくことによって一方及び
他方のフィールドの復号データを表示順に出力する方法
を行えば、復号処理時間を長く確保することが可能にな
る。

【００５７】この方法によれば、実施例で説明したより
もメモリ容量は増えるが、メモリアクセス速度による復
号処理時間の問題を解決し、且つ従来例に対してメモリ
容量を削減することが可能でる。

【００５８】図３は本発明の他の実施例を示すブロック
図である。図３において図１と同一の構成要素には同一
符号を付して説明を省略する。

【００５９】本実施例はスイッチ21、メモリ22、ピクチ
ャ検出回路23及びバッファ制御回路24を削除してバッフ
ァ制御回路７を採用すると共に、出力部25に代えて出力
部31を採用した点が図１の実施例と異なる。符号バッフ
ァメモリ回路１の出力は可変長復号回路２に与え、可変
長復号回路２の出力はバッファ制御回路７に与える。バ
ッファ制御回路７は可変長復号回路２からの可変長復号
出力に基づいて符号バッファメモリ回路１を制御するよ
うになっている。

【００６０】出力部31はスイッチ32，33、メモリ34，35
及びフィールドメモリ36によって構成している。スイッ
チ32は、加算器５から奇数番目の水平ブロックのブロッ
クデータが出力される場合にはメモリ34又はフィールド
メモリ36を交互に選択し、加算器５から偶数番目の水平
ブロックのブロックデータが出力される場合にはメモリ
35又はフィールドメモリ36を交互に選択する。スイッチ
36は、ブロックデータのうち奇数フィールドのデータは
メモリ35，36に与え、偶数フィールドのデータはフィー
ルドメモリ36に与えるようになっている。メモリ34，35
は、１ブロックライン分のデータを格納するようになっ
ている。フィールドメモリ36は、偶数フィールドのデー
タを格納するようになっている。スイッチ33は、奇数フ
ィールドにおいて、スイッチ32がメモリ34又はフィール
ドメモリ36を交互に選択している場合にはメモリ35を選
択し、スイッチ32がメモリ35又はフィールドメモリ36を
交互に選択している場合にはメモリ34を選択する。ま
た、スイッチ33は偶数フィールドの表示時間にはフィー
ルドメモリ36の出力を選択するようになっている。

【００６１】なお、本実施例においては、Ｂピクチャに
ついては、図１の実施例と同様に１フレームの画像表示
時間の１／２の時間内に復号化処理を行う必要がある
が、復号化処理は１回のみでよい。

【００６２】次に、このように構成された実施例の動作
について図４を参照して説明する。図４は図３中のメモ
リ34，35及びフィールドメモリ36の書込み及び読出しを
説明するための説明図である。図４（ａ）はブロックデ
ータの書込みを示し、図４（ｂ），（ｃ）は夫々奇数フ
ィールド及び偶数フィールドにおける復号化データの読
出しを示している。なお、図４中では、奇数フィールド
のデータを実線にて示し、偶数フィールドのデータを破
線にて示している。

【００６３】符号化バッファメモリ回路１には図１の実
施例と同様の符号化データを与える。符号化バッファメ
モリ回路１はバッファ制御回路７に制御されて、符号化
処理時間及び出力時間に基づく遅延量で入力された符号
化データを遅延させて可変長復号回路２に出力する。可
変長復号回路２以降の復号処理は図１の実施例と同様で
ある。また、Ｂピクチャの符号化データに対して、１フ
レームの画像表示時間の１／２の時間内に復号化処理を
行うことも図１の実施例と同様である。

【００６４】本実施例においては、Ｂピクチャの復号化
データを加算器５から出力部31に供給する。いま、加算
器５がＢピクチャの第１ブロックラインの復号化データ
をブロック単位でスイッチ32に供給するものとする。こ
の場合には、スイッチ32は、図４（ａ）に示すように、
各ブロックデータのうち奇数フィールドのデータはメモ
リ34に書込み、偶数フィールドのデータはフィールドメ
モリ36に書込む。こうして、メモリ34には第１ブロック
ラインのうちの奇数フィールドの復号化データのみが格
納される。また、フィールドメモリ36には第１ブロック
ラインの偶数フィールドの復号化データが格納される。

【００６５】次に、加算器５は第２ブロックラインの符
号化データをブロック単位で出力する。この場合には、
スイッチ32は、各ブロックデータのうち奇数フィールド
のデータをメモリ35に書込み、偶数フィールドのデータ
はフィールドメモリ36に追加書込みする。こうして、メ
モリ35には第２ブロックラインのうちの奇数フィールド
の復号化データのみが格納される。また、フィールドメ
モリ36には第１ブロックラインの偶数フィールドの復号
化データに続けて、第２ブロックラインの偶数フィール
ドの復号化データが格納される。また、この期間には、
スイッチ33はメモリ34を選択している。これにより、メ
モリ34に格納されている第１ブロックラインの奇数フィ
ールドのデータを表示順に読出してスイッチ16を介して
出力する。

【００６６】次に、加算器５から第３ブロックラインの
符号化データがブロック単位で出力される。この場合に
は、スイッチ32は、各ブロックデータのうち奇数フィー
ルドのデータをメモリ34に書込み、偶数フィールドのデ
ータはフィールドメモリ36に追加書込みする。また、ス
イッチ33はメモリ35を選択して、メモリ35に格納されて
いる第２ブロックラインの奇数フィールドのデータを表
示順に読出してスイッチ16から出力する。メモリ34には
第３ブロックラインのうちの奇数フィールドの復号化デ
ータのみが格納され、フィールドメモリ36は第１及び第
２ブロックラインの偶数フィールドの復号化データに続
けて、第３ブロックラインの偶数フィールドの復号化デ
ータを格納する。

【００６７】以後、同様の動作を繰返して、１フレーム
の画像表示期間の前半の期間において、図４（ｂ）に示
すように、メモリ34，35から奇数フィールドの復号化デ
ータを読出して出力する。また、この期間には、フィー
ルドメモリ36には偶数フィールドの全復号化データを格
納する。

【００６８】１フレームの画像表示期間の後半には、ス
イッチ33はフィールドメモリ36を選択する。これによ
り、図４（ｃ）に示すように、フィールドメモリ36に格
納されている偶数フィールドの復号化データを表示順に
読出してスイッチ16から出力する。こうして、インター
レース表示が可能となる。

【００６９】このように、本実施例においては、１フレ
ームの表示期間の前半に、メモリ34，35に各ブロックデ
ータのうち奇数フィールドの復号化データを格納すると
共に読出して奇数フィールドの復号化データを得る。そ
して、この期間には、偶数フィールドの復号化データは
フィールドメモリ36に格納する。偶数フィールドにおい
ては、フィールドメモリ36に格納されたデータを表示順
に読出すことにより偶数フィールドの復号化データを得
ている。

【００７０】メモリ34，35，36のメモリ容量は比較的小
さく、本実施例においても、メモリ容量を削減して回路
規模を低減し、低コスト化を図ることができる。

【００７１】なお、上記各実施例においては、複数のメ
モリを用いているが、１つのメモリの領域を複数に分割
して各メモリに代えて用いてもよいことは明らかであ
る。

【００７２】

【発明の効果】以上説明したように本発明によれば、Ｂ
ピクチャを含む画像符号化データの復号化に必要なメモ
リを削減して回路規模を小さくし、低コスト化すること
ができるという効果を有する。

【図面の簡単な説明】

【図１】本発明に係る画像復号化装置の一実施例を示す
ブロック図。

【図２】実施例の動作を説明するための説明図。

【図３】本発明の他の実施例を示すブロック図。

【図４】図３の実施例の動作を説明するための説明図。

【図５】ハイブリッド方式の圧縮法を説明するための説
明図。

【図６】ブロック化を説明するための説明図。

【図７】従来の画像復号化装置を示すブロック図。

【図８】フレーム化を説明するための説明図。

【符号の説明】

２…可変長復号回路、３…逆量子化回路、４…逆ＤＣＴ
回路、５，13…加算器、８…動きベクトル抽出回路、
９，10…動き補償回路、11，12…フレームメモリ、14〜
16，21，26，29…スイッチ、22，27，28…メモリ、23…
ピクチャ検出回路

フロントページの続き (56)参考文献 特開 平６−78289（ＪＰ，Ａ) 特開 平６−98314（ＪＰ，Ａ) 特開 平４−280190（ＪＰ，Ａ) 欧州特許出願公開618722（ＥＰ，Ａ １) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 前方及び後方の参照画像を用いた両方向
   予測符号化データを含む符号化データが入力され、入力
   された符号化データを所定のブロック単位で復号化して
   復号化データを出力する復号化手段と、 入力された前記両方向予測符号化データを保持する記憶
   手段と、 入力された前記両方向予測符号化データ及び前記記憶手
   段に格納された前記両方向予測符号化データを前記復号
   化手段に順次与えて、同一の前記両方向予測符号化デー
   タについて２回の復号化処理を行わせる制御手段と、 前記復号化手段からの前記両方向予測符号化データにつ
   いての１回目の復号化処理による復号化データを少なく
   とも１ブロックライン分保持すると共に、保持した復号
   化データのうち一方のフィールドの復号化データを表示
   順に出力する第１の出力手段と、 前記復号化手段からの前記両方向予測符号化データにつ
   いての２回目の復号化処理による復号化データを少なく
   とも１ブロックライン分保持すると共に、保持した復号
   化データのうち他方のフィールドの復号化データを表示
   順に出力する第２の出力手段とを具備したことを特徴と
   する画像復号化装置。
2. 【請求項２】 前記第１及び第２の出力手段は、夫々１
   フレームの画像表示時間の半分の時間で前記復号化デー
   タを出力することを特徴とする請求項１に記載の画像復
   号化装置。
3. 【請求項３】 前記第１及び第２の出力手段は、１ブロ
   ックライン分の復号化データを保持する第１及び第２の
   メモリを有し、前記第１及び第２のメモリの書込み及び
   読出しを制御することにより、一方又は他方のフィール
   ドの復号化データを表示順に出力することを特徴とする
   請求項１に記載の画像復号化装置。
4. 【請求項４】 前方及び後方の参照画像を用いた両方向
   予測符号化データを含む符号化データが入力され、入力
   された符号化データを所定のブロック単位で復号化して
   復号化データを出力する復号化手段と、 前記復号化手段からの前記両方向予測符号化データに対
   する復号化データのうち一方フィールドの復号化データ
   を表示順に出力する第３の出力手段と、 前記復号化手段からの前記両方向予測符号化データに対
   する復号化データのうち他方フィールドの復号化データ
   を保持して、前記第３の出力手段による復号化データの
   出力終了後に、表示順に出力する第４の出力手段とを具
   備し、 前記第４の出力手段は、前記両方向予測符号化データに
   対する復号化データのうち他方フィールドの復号化デー
   タを保持するフィールドメモリによって構成し、 前記第３の出力手段は、少なくとも一方フィールドの１
   ブロックライン分の復号化データを保持可能な第３及び
   第４のメモリを有し、前記第３及び第４のメモリの書込
   み及び読出しを制御することにより、前記両方向予測符
   号化データに対する復号化データのうち一方フィールド
   の復号化データを保持して表示順に出力することを特徴
   とする画像復号化装置。
5. 【請求項５】 前方及び後方の参照画像を用いた両方向
   予測符号化データを含む符号化データが入力され、入力
   された符号化データを所定のブロック単位で復号化して
   復号化データを出力する復号化手段と、 入力された前記両方向予測符号化データを保持する第１
   の記憶手段と、 入力された前記両方向予測符号化データ及び前記第１の
   記憶手段に格納された前記両方向予測符号化データを前
   記復号化手段に順次与えて、同一の前記両方向予測符号
   化データについて２回の復号化処理を行わせる制御手段
   と、 前記復号化手段からの前記両方向予測符号化データにつ
   いての１回目の復号化処理による符号化データのうち一
   方のフィールドを保持する第２の記憶手段と、 ２回目の符号化処理時間に前記第２の記憶手段に記憶さ
   れた一方のフィールドを読出し表示順に出力する手段
   と、 前記第２の記憶手段から読出された領域に２回目の復号
   処理による復号化データのうち他方のフィールドを順次
   記憶する手段とを具備し、 前記一方又は他方のフィールドの復号化データを表示順
   に出力することを特徴とする画像復号化装置。