JPH06169453A

JPH06169453A - 画像データ符号化および復号化装置および方法

Info

Publication number: JPH06169453A
Application number: JP34141392A
Authority: JP
Inventors: Tsukasa Hashino; 司橋野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1992-11-27
Filing date: 1992-11-27
Publication date: 1994-06-14

Abstract

(57)【要約】【目的】時間軸方向のエラー蓄積を最低限に抑えるこ
とが可能な画像符号化および復号化方法およびその装置
を提供することを目的としている。【構成】本発明の画像データエンコーダ１は、動き補
償フレーム間ＤＣＴ符号化を行う装置である。一般的な
画像圧縮装置の構成に加え、第一のフレームメモリ１９
に記憶された画像データについてさらに１フレーム分の
時間遅延を加える第二のフレームメモリ２２、および、
入力画像データと第二のフレームメモリ２２の出力デー
タに基づいて２フレーム間動きベクトルを算出する動き
評価回路２１を有する。ＤＣＴ符号化装置１は、圧縮さ
れた画像データ、および、動き評価回路２３で算出され
るフレーム間動きベクトルに加え、２フレーム間動きベ
クトルをＤＣＴ復号化装置に送出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データについて直
交変換および量子化処理等を行う画像処理装置における
画像データ符号化および復号化装置および方法に関す
る。

【０００２】

【従来の技術】画像処理においては、画像データの動き
補償は、従来以下に示すように行われていた。従来の動
き補償方法が適用されるＤＣＴ符号化装置について以下
に説明する。従来のＤＣＴ符号化装置は、例えば画像情
報圧縮（オーム社刊）に記載されているのと同様な構成
であり、ＤＣＴ回路、減算回路、ＤＣＴ回路、量子化回
路、可変長符号化回路、逆量子化回路、ＩＤＣＴ回路、
加算回路、第一のフレームメモリ、第二のフレームメモ
リ、動き補償回路、動き補償回路等から構成されてい
る。

【０００３】従来のＤＣＴ符号化装置においては、入力
された画像データと予測データの比較をとり、両者の差
分データ（予測誤差信号）が算出される。この誤差予測
信号についてＤＣＴ（離散余弦変換）を行い、予測誤差
信号の空間的な相関を排除する。ＤＣＴにより一部の係
数にエネルギーが集中される。

【０００４】ここで、ＤＣＴされた誤差予測信号の値は
（０）を中心としてその近傍に集中している。そこで、
その値が（０）に近いものについては短いビット長で符
号化し、値の大きい数値については長いビット数で符号
化（量子化）を行う。このような非線形符号化により、
この時点での入力画素信号の平均ビット長は例えば４〜
５ビット程度となり、また、量子化雑音がこれに加わる
ことになる。この量子化後の信号についてランレングス
可変長符号化が行われ、さらに誤り訂正符号が付加され
て圧縮画像データとなり、記録、伝送等が行われる。ま
た、以上の処理により、時間軸方向にエラーが蓄積する
ため、定期的にフレーム内符号化（リフレッシュ動作）
を行って、画像データをリフレッシュし、蓄積したエラ
ーをなくす。

【０００５】一方、量子化後の画像データは逆量子化回
路に入力され、逆量子化される。さらに逆量子化された
画像データはＩＤＣＴ（逆離散余弦変換）される。この
信号は、１フレーム分時間遅延され、さらに動き補償が
なされて次のフレームの画像信号の誤差予測信号を算出
するための予測データとなる。

【０００６】また、以上のようにＤＣＴ符号化された画
像データを復号する従来のＤＣＴ復号化装置は、入力さ
れる圧縮画像データについて、誤りの検出、可変長復号
化、逆量子化、およびＩＤＣＴ等の処理、つまり、従来
のＤＣＴ符号化装置の逆の処理を行う。こうして得られ
た信号に、さらに１つ前の画像データについて従来のＤ
ＣＴ符号化装置から従来のＤＣＴ復号化装置に送出され
るフレーム間動きベクトルに基づいて動き補償を行って
加算する。以上で画像データの復号が完了する。

【０００７】

【発明が解決しようとする課題】従来の画像データ符号
化および復号化装置および方法は、以上に述べたように
構成されていたので、以下に述べるような問題点があっ
た。ＤＣＴ符号化装置からＤＣＴ復号化装置に圧縮画像
データを伝送する際に、雑音等の影響により、ＤＣＴ復
号化装置側で誤り訂正し得ない程度の誤りが発生するこ
とがあり得る。

【０００８】このような場合、従来は例えば次のリフレ
ッシュまで誤り発生以前の画像を出力する、あるいは、
誤り発生した画像データも他の画像データと同様に取扱
い、画像の劣化を仕方のないものとして許すといった対
処がなされてきた。次のリフレッシュまで誤り発生以前
の画像を出力する場合、画像の動きが不自然になるとい
う問題点がある。また、誤り発生した画像データも他の
画像データと同様に取扱う場合には、画像が劣化するの
みならず、この劣化が次のリフレッシュまで残る。つま
り、時間軸方向のエラーの蓄積が発生するという問題点
があった。

【０００９】本発明は以上述べた従来技術の問題点に鑑
みてなされたものであり、復号化装置に入力される圧縮
画像データに誤りが発生しても誤りがなかった場合とほ
ぼ同等の画質を保つことが可能であり、また、時間軸方
向のエラー蓄積を最低限に抑えることが可能な画像デー
タ符号化および復号化装置および方法を提供することを
目的としている。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、本発明の画像データ符号化および復号化装置および
方法は、圧縮、量子化される画像データに相当する予測
データを算出する手段と、１フレーム前の予測データを
用いて入力画像データに対するフレーム間動きベクトル
を算出するフレーム間動きベクトル算出手段と、少なく
とも２フレーム前の予測データを用いて入力画像データ
に対するフレーム間動きベクトルを算出する複数フレー
ム間動きベクトル算出手段と、画像データと予測データ
との差分データを圧縮、符号化する圧縮符号化手段と、
フレーム間動きベクトルと複数フレーム間動きベクトル
と前記圧縮符号化された差分データとを符号化する符号
化手段とを有する。

【００１１】また、少なくとも２フレーム前の予測デー
タを用いて算出された入力画像データに対する複数フレ
ーム間動きベクトルと、圧縮符号化された画像データと
予測データとの差分とを少なくとも含む入力データにつ
いて、前記圧縮符号化された差分を伸長する伸長手段
と、前記複数フレーム間動きベクトルに基づいて対応す
る予測データに動き補償を行う動き補償手段と、前記伸
長された差分データと前記動き補償が行われた予測デー
タに基づいて前記入力画像データの復号を行う復号手段
とを有する。

【００１２】また、１フレーム前の予測データを用いて
算出された入力画像データに対するフレーム間動きベク
トルと、少なくとも２フレーム前の予測データを用いて
算出された入力画像データに対する複数フレーム間動き
ベクトルと、圧縮符号化された画像データと予測データ
との差分と、これらの誤り検出符号とを含む入力データ
について、誤り検出を行う誤り検出手段と、前記圧縮さ
れた差分データを伸長する伸長手段と、前記入力データ
について誤りが検出されない場合には、前記フレーム間
動きベクトルに基づいて１フレーム前の予測データにつ
いて動き補償を行う第一の動き補償手段と、前記入力デ
ータについて誤りが検出された場合には、前記複数フレ
ーム間動きベクトルに基づいて対応する予測データにつ
いて動き補償を行う第二の動き補償手段と、前記伸長さ
れた差分データと前記動き補償が行われた予測データに
基づいて前記画像データの復号を行う復号手段とを有す
る。

【００１３】また、複数フレーム間動きベクトルに基づ
いて対応する予測データについて動き補償を行い、前記
対応する予測データと再生する画像の関係に対応した線
形補間等を行う補間手段とを有することを特徴とする。

【００１４】また、圧縮、量子化される画像データに相
当する予測データを算出する手段と、１フレーム前の予
測データを用いて入力画像データに対するフレーム間動
きベクトルを算出するフレーム間動きベクトル算出手段
と、少なくとも２フレーム前の予測データを用いて入力
画像データに対するフレーム間動きベクトルを算出する
複数フレーム間動きベクトル算出手段と、画像データと
予測データとの差分データを圧縮、符号化する圧縮・符
号化手段と、フレーム間動きベクトルと複数フレーム間
動きベクトルと前記圧縮符号化された差分データとを符
号化する符号化手段と、前記圧縮符号化された差分を伸
長する伸長手段と、前記複数フレーム間動きベクトルに
基づいて対応する予測データに動き補償を行う動き補償
手段と、前記伸長された差分データと前記動き補償が行
われた予測データに基づいて前記入力画像データの復号
を行う復号手段とを有する。

【００１５】また、画像データと予測データの差分デー
タを圧縮処理する圧縮手段と、予測データに１フレーム
分の時間遅延を与える第一の遅延手段と、予測データに
２フレーム分の時間遅延を与える第二の遅延手段と、前
記圧縮された差分データを伸長する伸長手段と、画像デ
ータと前記第一の遅延手段から出力される予測データに
基づいてフレーム間動きベクトルを算出する第一の動き
ベクトル算出手段と、画像データと前記第二の遅延手段
から出力される予測データに基づいて２フレーム間動き
ベクトルを算出する第二の動きベクトル算出手段と、１
フレーム分の時間遅延が与えられた予測データにフレー
ム間動きベクトルに基づいて動き補償を行い予測データ
を算出する手段と、予測データと前記伸長手段により伸
長された前記圧縮された差分データを加算して次の予測
データを算出する予測データ算出手段と、前記圧縮され
た差分データ、フレーム間動きベクトル、および２フレ
ーム間動きベクトルとを多重化し、可変長符号化する可
変長符号化手段と、前記可変長符号化手段の出力データ
について誤り検出符号を付加する誤り検出符号付加手段
とを有する。

【００１６】また、１フレーム前の予測データを用いて
算出された入力画像データに対するフレーム間動きベク
トルと、少なくとも２フレーム前の予測データを用いて
算出された入力画像データに対する複数フレーム間動き
ベクトルと、圧縮符号化された画像データと予測データ
との差分と、これらの誤り検出符号とを含む入力データ
について、誤り検出を行う誤り検出手段と、誤り検出さ
れた前記入力データについて可変長復号化を行い、前記
入力データ中の前記圧縮された差分データ、フレーム間
動きベクトル、および２フレーム間動きベクトルを分離
する可変長復号化手段と、前記圧縮された差分データを
伸長する差分データ伸長手段と、デコードデータに１フ
レーム分の時間遅延を与える第三の遅延手段と、デコー
ドデータに２フレーム分の時間遅延を与える第四の遅延
手段と、前記誤り訂正手段で誤りが検出された場合に
は、前記２フレーム間動きベクトルに基づいて２フレー
ム分の時間遅延が与えられた前記デコードデータについ
て動き補償を行い、前記誤り訂正手段で誤りが検出され
ない場合には、前記フレーム間動きベクトルに基づいて
１フレーム分の時間遅延が与えられた前記デコードデー
タについて動き補償を行う動き補償手段と、前記動き補
償されたデコード信号と前記伸長された差分データを加
算して次のデコードデータとするデコードデータ算出手
段とを有する。

【００１７】また、圧縮、量子化される画像データに相
当する予測データを算出し、１フレーム前の予測データ
を用いて入力画像データに対するフレーム間動きベクト
ルを算出し、少なくとも２フレーム前の予測データを用
いて入力画像データに対するフレーム間動きベクトルを
算出し、画像データと予測データとの差分データを圧
縮、符号化し、フレーム間動きベクトルと複数フレーム
間動きベクトルと前記圧縮符号化された差分データとを
符号化する。

【００１８】また、少なくとも２フレーム前の予測デー
タを用いて算出された入力画像データに対する複数フレ
ーム間動きベクトルと、圧縮符号化された画像データと
予測データとの差分とを少なくとも含む入力データにつ
いて、前記圧縮符号化された差分を伸長し、前記複数フ
レーム間動きベクトルに基づいて対応する予測データに
動き補償を行い、前記伸長された差分データと前記動き
補償が行われた予測データに基づいて前記入力画像デー
タの復号を行う。

【００１９】また、１フレーム前の予測データを用いて
算出された入力画像データに対するフレーム間動きベク
トルと、少なくとも２フレーム前の予測データを用いて
算出された入力画像データに対する複数フレーム間動き
ベクトルと、圧縮符号化された画像データと予測データ
との差分と、これらの誤り検出符号とを含む入力データ
について、誤り検出を行い、前記圧縮された差分データ
を伸長し、前記入力データについて誤りが検出されない
場合には、前記フレーム間動きベクトルに基づいて１フ
レーム前の予測データについて動き補償を行い、前記入
力データについて誤りが検出された場合には、前記複数
フレーム間動きベクトルに基づいて対応する予測データ
について動き補償を行い、前記伸長された差分データと
前記動き補償が行われた予測データに基づいて前記画像
データの復号を行う。

【００２０】

【作用】ＤＣＴ符号化装置において、該フレームの画像
データと隣接するフレーム間の画像データに基づいてフ
レーム間動きベクトルを算出するとともに、該フレーム
の画像データと１フレームおいた画像データに基づいて
２フレーム間動きベクトルを算出し、ＤＣＴ復号化装置
に送出することにより、２フレーム前の予測データから
も画像データを復号することを可能としている。

【００２１】また、ＤＣＴ符号化装置において、予測デ
ータに２フレーム分の時間遅延を加えるフレームメモリ
と、このフレームメモリに対応した動き補償回路を設け
ることにより、２フレーム間動きベクトルの算出を行
う。また、ＤＣＴ復号化装置においては、入力される圧
縮画像データに誤りが検出された場合、２フレーム前の
予測データについて２フレーム間動きベクトルを使用し
て予測データの動き補償を行い、さらに、この動き補償
をされた予測データを画像データの復号化に使用するこ
とにより、誤り発生の際の画面劣化の防止、および、時
間軸方向のエラーの蓄積を防止している。

【００２２】

【実施例】以下、本発明の実施例について説明する。図
１は、本発明の画像データ符号化および復号化装置およ
び方法を適用した画像データエンコーダ１の構成を示す
図である。画像データエンコーダ１は、動き補償フレー
ム間ＤＣＴ符号化を行う装置である。画像データエンコ
ーダ１は、一般的な画像圧縮装置の構成に加え、第一の
フレームメモリ１９に記憶された画像データについてさ
らに１フレーム分の時間遅延を加える第二のフレームメ
モリ２２、および、入力画像データと第二のフレームメ
モリ２２の出力データに基づいて２フレーム間動きベク
トルを算出する動き評価回路２１を有する。

【００２３】ＤＣＴ符号化装置１は、圧縮された画像デ
ータ、および、動き評価回路２３で算出されるフレーム
間動きベクトルに加え、２フレーム間動きベクトルを後
述するＤＣＴ復号化装置３に送出する。

【００２４】図１において、減算回路１１は、ディジタ
ル演算を行い、動き補償回路２０の出力（予測）データ
と入力される画像データの差分（予測誤差）データを算
出する。ＤＣＴ回路１２は、減算回路１１で算出された
差分データについて、離散余弦変換を行い、予測誤差デ
ータの空間的な相関の除去を行う。なお、ＤＣＴ回路１
２は他の直交変換を行う回路に置き換えることが可能で
ある。

【００２５】量子化回路１３は、ＤＣＴ回路１２で離散
余弦変換された予測誤差データについて、例えば非線形
量子化等の量子化処理を行う。可変長符号化回路１４
は、例えばランレングス可変長符号化により量子化回路
１３で量子化された誤差予測信号を符号化する。誤り訂
正符号付加回路１５は、量子化回路１３で可変長符号化
された誤差予測信号に誤り訂正（検出）符号、例えばパ
リティの付加を行う。

【００２６】逆量子化回路１６は、量子化された予測誤
差データを量子化前に戻す処理（逆量子化）を行う。Ｉ
ＤＣＴ回路１７は、逆量子化回路１６の出力データをＤ
ＣＴ前に戻す処理（ＩＤＣＴ処理（逆離散余弦変換））
を行う。

【００２７】加算回路１８は、ディジタル演算を行い、
動き補償検出回路２０の出力データとＩＤＣＴ回路１７
の出力信号の加算を行う。第一のフレームメモリ１９
は、例えばＦＩＦＯ形式のＲＡＭから構成され、加算回
路１８の出力データに１フレーム分の時間遅延を与え
る。

【００２８】動き補償回路２０は、第一のフレームメモ
リ１９の出力データについて、動き評価回路２３で検出
された動き情報に基づいて補償を行う。動き評価回路２
１は、第二のフレームメモリ２２と入力された画像デー
タに基づいて、例えばブロックマッチング法により動き
の評価を行い、動き量を評価し、２フレーム間動きベク
トルを算出する。

【００２９】第二のフレームメモリ２２は、例えば第一
のフレームメモリ１９と同様にＦＩＦＯ形式のＲＡＭか
ら構成され、第一のフレームメモリ１９の出力データと
入力される画像データについて、例えばブロックマッチ
ング法により動きを検出する。動き評価回路２３は、第
一のフレームメモリ１９と入力された画像データに基づ
いて、例えば動き評価回路２１と同様にブロックマッチ
ング法により動きの評価を行い、フレーム間動きベクト
ルを算出する。以上述べたＤＣＴ符号化装置１の各部分
は図中に示すように接続されている。

【００３０】以下、ＤＣＴ符号化装置１の動作について
説明する。先ず、後述するリフレッシュ動作において、
画像ブロックの画像データはフレーム内符号化される。
画素データＸ_iは、フレームｉの所定の画素のディジタ
ル形式の８ビットデータである。ＤＣＴ符号化装置１に
入力された画像データＸ_iは、減算回路１１において、
１フレーム前の既に符号化された対応する画素の画像デ
ータＸ’_i-1と比較され、その差分データ（誤差予測信
号）が算出される。

【００３１】ここで、図中に減算回路１１に付された
（＋，−）の符号は、（＋）の符号が付された入力のデ
ータから（−）のデータが付された入力のデータを減算
することを示している。つまり、誤差予測信号Ｅ_iは次
式で表される。Ｅ_i＝Ｘ_i−Ｘ’_i-1 ・・・（式１）となる。

【００３２】この誤差予測信号は、ＤＣＴ回路１２でＤ
ＣＴ（離散余弦変換）され、空間的な相関が排除され、
一部の係数にエネルギーが集中される。ＤＣＴ回路１２
の出力データは量子化回路１３に入力される。以下、Ｄ
ＣＴ後の誤差予測信号をｅ_i、画像データをそれぞれｘ
_i、ｘ’_i-1と表す。ここで、入力画像データが８ビッ
トであることから、数値（＋２５５）〜数値（−２５
５）の内の任意の値となり得る。この数値は９ビットで
表すことが可能であるが、これは入力画像データと比べ
て１ビット増えてしまっている。

【００３３】一方、よく知られているように、誤差予測
信号の値は（０）を中心としてその近傍に集中してい
る。そこで、量子化回路１３は誤差予測信号について、
その値が（０）に近いものについては短いビット長で符
号化し、値の大きい数値については長いビット数で符号
化（量子化）を行う。このような非線形符号化により、
この時点での入力画素信号の平均ビット長は例えば４〜
５ビット程度となる。このような符号化方法はエントロ
ピー符号化と呼ばれるものである。

【００３４】ただし、このような符号化を行った場合は
誤差予測信号に量子化雑音が加わることになる。量子化
回路１３からの出力は、上述のように差分誤差信号に量
子化雑音ｑ_iが加わった値ｑ（ｅ_i）となる。ｑ（ｅ_i）＝ｘ_i−ｘ_i-1’＋ｑ_i ・・・（式２）この信号ｑ（ｅ_i）は、可変長符号化回路１４に入力さ
れ、ランレングス可変長符号化され、さらに誤り訂正符
号付加回路１５で誤り訂正符号、例えばパリティを付加
され出力される。

【００３５】一方、信号ｑ（ｅ_i）は、逆量子化回路１
６に入力される。逆量子化回路１６は信号ｑ（ｅ_i）を
逆量子化し、信号ｅ_iを得る。信号ｅ_iはＩＤＣＴ回路
１７でＩＤＣＴ（逆離散余弦変換）され、次式で表され
る信号Ｅ_i’となる。Ｅ_i’＝（Ｘ_i−Ｘ_i-1’＋Ｑ_i）・・・（式３）ここで、信号Ｑ_iは信号ｑ_iをＩＤＣＴした信号であ
る。

【００３６】加算回路１８は、この信号Ｅ_i”に、第一
のフレームメモリ１９で遅延され、動き補償回路２０で
動き補償された１フレーム前の対応する画素の画像デー
タＸ_i-1”を加算し、次式で示される信号Ｘ_i’を得
る。Ｘ_i’＝（Ｘ_i−Ｘ_i-1’＋Ｑ_i）＋Ｘ_i-1” ＝Ｘ_i＋（Ｘ_i-1”−Ｘ_i-1’）＋Ｑ_i ・・・（式４）ここで、伝送路に誤りがなく、動き補償が十分な効果を
有する場合、Ｘ_i-1”−Ｘ_i-1’≒０となるため、結局、加算回路１８から出力される信号は
もとの信号にＩＤＣＴされた量子化雑音Ｑ_iが加わるの
みとなる。

【００３７】この信号Ｘ_i’は第一のフレームメモリ１
９に入力され、１フレーム分の遅延が与えられ、動き補
償回路２０および動き評価回路２３に入力される。動き
評価回路２３は、信号Ｘ_i’とＤＣＴ符号化装置１に入
力される画像データに基づいて、例えば符号化済の先行
画素を用いて、背景予測値、動き補償フレーム間予測回
路、あるいは、フレーム内予測符号化回路のいずれかが
最も予測誤差を小さくするかを画素ごとに推定し、フレ
ーム間動きベクトルを算出する。

【００３８】動き補償回路２０は、この動きベクトルを
対応する画素の画像データに加算し画像データＸ_i”を
算出する。このようにして得られた画像データＸ_i”
は、次のフレームの対応する画素の画像データについて
誤差予測信号を算出するために使用される。

【００３９】一方、第一のフレームメモリ１９から出力
された信号Ｘ_i’は、第二のフレームメモリ２２でさら
に１フレーム分の時間遅延が加えられ、動き評価回路２
１に入力される。動き評価回路２１は、ＤＣＴ符号化装
置１に入力される画像データと信号Ｘ_i’とＤＣＴ符号
化装置１に入力される画像データに基づいて、例えば動
き評価回路２３と同様な方法により２フレーム間動きベ
クトルを算出する。

【００４０】一方、量子化回路１３および逆量子化回路
１６では、上述したように非線形符号化が行われるの
で、量子化雑音が蓄積してゆく。このために、時間軸方
向のエラーの蓄積が生じる。ＤＣＴ符号化装置１は時間
軸方向のエラーの蓄積を最小限にするために、定期的に
（数〜数十フレームごと）に同一空間位置にある画像ブ
ロックを強制的にフレーム内符号化するリフレッシュ動
作を行う。

【００４１】可変長符号化回路１４は、量子化回路１３
から出力される圧縮画像データをランレングス可変長符
号化し、さらにフレーム間動きベクトルおよび２フレー
ム間動きベクトルを多重して出力する。誤り訂正符号付
加回路１５は、可変長符号化回路１４から出力される信
号について、誤り訂正符号として、例えばパリティ符号
を算出し、付加して出力する。

【００４２】次に、本発明の画像データ復号化装置およ
び方法を適用したＤＣＴ復号化装置３について説明す
る。ＤＣＴ復号化装置３は、ＤＣＴ符号化装置１で符号
化された圧縮画像データを復号する装置である。

【００４３】ＤＣＴ復号化装置３の構成および動作の説
明に先立ち、時間軸方向のエラーの蓄積について説明す
る。図２は、本発明の画像データ復号化装置および方法
による時間軸方向のエラーの蓄積に対する手当てを説明
する図である。なお、説明の便宜上、図２には静止画像
の場合について示してある。

【００４４】以上述べたように、ＤＣＴ符号化装置１は
従来のＤＣＴ符号化装置と同様に、最初の画像ブロック
はフレーム内符号化される。それ以降、次のリフレッシ
ュ動作までは前のフレームの予測データを予測画面と
し、その差分データ（誤差予測信号）をＤＣＴ符号化す
る。

【００４５】例えば、図中に示すフレーム０においてリ
フレッシュ動作が行われ、それ以降そのフレームの誤差
予測信号をＤＣＴ符号化したものが順次出力されてい
る。ここで、例えばフレーム２に対応する圧縮画像デー
タが復号装置に伝達される途中で雑音等により、復号装
置においてＤＣＴ符号化された誤差予測信号にのみ訂正
不可能な程度の影響を受けたとする。

【００４６】この場合、図中に示すようにＤＣＴ符号化
装置１においてはフレーム間動きベクトルおよび２フレ
ーム間動きベクトルが符号化するデータで示される各式
による誤差予測信号に基づいて算出されている。静止画
像においては、全てのフレーム間動きベクトルおよび２
フレーム間動きベクトルの値は（０，０）となってい
る。

【００４７】ここで、フレーム間動きベクトルにのみに
基づいて復号装置で圧縮画像データの復号を行った場
合、本来全く同じ画像データは、フレーム０〜フレーム
２とフレーム３以降で異なったものとなってしまい、次
のリフレッシュ動作まで手当てされないこととなる。

【００４８】一方、上記のような圧縮データに対する影
響が発生した場合、復号装置側の誤り検出回路でこの影
響を検出することが可能である。よって、復号装置側は
ＤＣＴ符号化装置１から送られてくる圧縮画像データに
誤りを検出した場合にはフレーム間動きベクトルではな
く２フレーム間動きベクトルに基づいて画像の復号を行
うことにより静止画像においては完全に上記影響を排除
することができる。また、動画像においても上記影響を
大部分排除可能な程度に手当てを行うことが可能であ
る。

【００４９】図３は、ＤＣＴ復号化装置３の構成を示す
図である。図３において、誤り検出回路３１はＤＣＴ符
号化装置１の誤り訂正符号付加回路１５で付加された誤
り訂正符号、例えばパリティにより圧縮画像信号の誤り
検出を行い、さらにパリティを除去する。また、誤りが
検出された場合にはエラーフラグを論理値１と（アサー
ト）し、第五のフレームメモリ３６に入力する。

【００５０】ランレングス可変長復号回路３２は、ラン
レングス可変長復号を行い、ＤＣＴ符号化装置１の可変
長符号化回路１４で多重化されたフレーム間動きベクト
ルと２フレーム間動きベクトルを分離し、動き補償回路
３７に入力する。逆量子化回路３３は、ランレングス可
変長復号回路３２で復号された圧縮画像信号についてＤ
ＣＴ符号化装置１の逆量子化回路１６と同じ逆量子化を
行う。

【００５１】ＩＤＣＴ回路３４は、逆量子化回路３３で
逆量子化された画像データについて、ＤＣＴ符号化装置
１のＩＤＣＴ回路１７と同じＩＤＣＴを行う。加算回路
３５は、ＩＤＣＴ回路３４の出力データと動き補償回路
３７の出力データ（動き補償された予測データ）を加算
する回路である。第五のフレームメモリ３６は、誤り検
出回路３１から出力されるエラーフラグに１フレーム分
の時間遅延を与える。動き補償回路３７は、ＤＣＴ符号
化装置１の動き補償回路２０と同様な動作を行う回路で
あり、エラーフラグがアサートされていない場合にはラ
ンレングス可変長復号回路３２で分離されたフレーム間
動きベクトルと第三のフレームメモリ３９の出力データ
に基づいて、エラーフラグがアサートされていない場合
には２フレーム間動きベクトルと第四のフレームメモリ
４０の出力データに基づいて予測データ（１フレーム前
の復号画像信号）に動き補償を行い、加算回路３５に入
力する。

【００５２】スイッチ３８は、エラーフラグがアサート
されている場合には図中（１）に示す接点を選択し、第
三のフレームメモリ３９の出力を選択して動き補償回路
３７に入力し、エラーフラグがアサートされていない場
合には図中（２）に示す接点を選択し、第四のフレーム
メモリ４０の出力を選択して動き補償回路３７に入力す
る。第三のフレームメモリ３９は、加算回路３５の出力
データ（復号画像データ）について１フレーム分の時間
遅延を与える。第四のフレームメモリ４０は、第三のフ
レームメモリ３９の出力データについて１フレーム分の
時間遅延を与える。

【００５３】以下、ＤＣＴ復号化装置３の動作について
説明する。ＤＣＴ符号化装置１で符号化された圧縮画像
データは誤り検出回路３１で誤り検出される。つまり、
ＤＣＴ符号化装置１の誤り訂正符号付加回路１５で付加
されたパリティにより誤り検出を行い、さらに誤り訂正
符号を取り除く。ここで、ＤＣＴ符号化装置１の誤り訂
正符号付加回路１５および誤り検出回路３１おける誤り
検出方法としては、ここで述べるパリティによる方法に
限らず、例えばＣＲＣチェックによる方法を用いてもよ
い。

【００５４】誤り検出回路３１は、入力された圧縮画像
データに誤りを検出した場合、エラーフラグをアサート
する。このエラーフラグは第五のフレームメモリ３６で
１フレーム分の時間遅延が加えられる。圧縮画像データ
について伝送中に発生した誤りを補償するための処理は
その次のフレームの画像データについて行われるためで
ある。

【００５５】誤り検出回路３１で、誤り検出が行われた
圧縮画像データは、ランレングス可変長復号回路３２で
ランレングス復号化され、逆量子化回路３３に入力され
る。また、ＤＣＴ符号化装置１の誤り訂正符号付加回路
１５で多重化されたフレーム間動きベクトルおよび２フ
レーム間動きベクトルが分離され、動き補償回路３７に
入力される。

【００５６】逆量子化回路３３は、ランレングス可変長
復号回路３２でランレングス復号化された圧縮画像デー
タについて、ＤＣＴ符号化装置１の逆量子化回路１６と
同じ処理を行い、逆量子化する。

【００５７】ＩＤＣＴ回路３４は、逆量子化回路３３の
出力データについてＩＤＣＴを行い、加算回路３５に出
力する。以上述べた誤り検出回路３１〜加算回路３５に
おける処理は、ＤＣＴ符号化装置１のＤＣＴ回路１２〜
誤り訂正符号付加回路１５で行われる処理と逆向きの処
理（伸長処理）である。

【００５８】動き補償回路３７は、リフレッシュ動作に
よりフレーム内符号化された画像ブロックのデータにつ
いて、エラーフラグがアサートされている場合には、第
四のフレームメモリ４０の出力データと２フレーム間動
きベクトルに基づいて予測データに動き補償信号を行
い、エラーフラグがアサートされていない場合には、第
三のフレームメモリ３９の出力データとフレーム間動き
ベクトルに基づいて予測データに動き補償信号を行い加
算回路３５に出力する。

【００５９】この動作について、図２を参照して説明す
る。通常、ＤＣＴ復号化装置３に入力される画像データ
に誤りが発生しない場合においては、動き補償回路３７
はフレーム間動きベクトルおよび第三のフレームメモリ
３９の出力データ、つまり１フレーム前の復号画像デー
タに基づいて処理を行い、動き補償された予測データを
加算回路３５に供給している。

【００６０】ここで、図２のフレーム２において、例え
ばＤＣＴ符号化装置１からＤＣＴ復号化装置３への伝送
中に上記誤りが発生する。この誤りは誤り検出回路３１
で検出され、アサートされたエラーフラグは第五のフレ
ームメモリ３６を介して動き補償回路３７とスイッチ３
８に入力される。つまり、フレーム３の画像を復号する
際には、誤りの発生したフレーム間動きベクトル（ａ，
ｂ）と第三のフレームメモリ３９の出力データを使用せ
ずに、２フレーム間動きベクトルと第四のフレームメモ
リ４０の出力データを使用して予測データの動き補償を
行う。

【００６１】以上のように処理することにより、図２に
示す静止画像の場合には完全に誤りのない画像をＤＣＴ
復号化装置３において復号することが可能である。ま
た、動画像においても、誤りのあるフレーム間動きベク
トルを使用して予測データの動き補償を行う場合に比べ
て、２フレーム間動きベクトルを使用して予測データの
動き補償を行う方が本来の動き補償による画像より多少
劣化する程度で済むことが多いため有利である。

【００６２】図４は、以上に述べたＤＣＴ復号化装置３
の処理を示すフローチャートである。図４において、ス
テップ０１（Ｓ０１）において、誤り検出回路３１はＤ
ＣＴ符号化装置１から入力された圧縮画像データについ
て誤り検出を行い、誤り符号を取り除く。また、誤りを
検出した場合にはエラーフラグをアサートする。このエ
ラーフラグは第五のフレームメモリ３６で遅延が加えら
れ、動き補償回路３７およびスイッチ３８に入力され
る。ステップ０２（Ｓ０２）において、ランレングス可
変長復号回路３２は誤り検出回路３１で誤り検出された
圧縮画像データをランレングス可変長復号化し、さらに
フレーム間動きベクトルおよび２フレーム間動きベクト
ルを分離し、動き補償回路３７に出力する。

【００６３】ステップ０３（Ｓ０３）において、逆量子
化回路３３は、ランレングス可変長復号回路３２の出力
データについて逆量子化を行い、さらにＩＤＣＴ回路３
４は逆量子化回路３３の出力データについてＩＤＣＴを
行う。ステップ０４（Ｓ０４）において、動き補償回路
３７およびスイッチ３８はエラーフラグがアサートされ
ているか、否かを判断する。エラーフラグがアサートさ
れている場合、Ｓ０６の処理に進み、アサートされてい
ない場合、Ｓ０５の処理に進む。

【００６４】ステップ０５（Ｓ０５）において、スイッ
チ３８は図３に示す（１）側の接点を選択し、動き補償
回路３７に第三のフレームメモリ３９の出力データを入
力する。また、動き補償回路３７は、フレーム間動きベ
クトルと第三のフレームメモリ３９の出力データに基づ
いて予測データの動き補償を行い、加算回路３５でＩＤ
ＣＴ回路３４の出力データと加算する。ステップ０６
（Ｓ０６）において、スイッチ３８は図３に示す（２）
側の接点を選択し、動き補償回路３７に第四のフレーム
メモリ４０の出力データを入力する。また、動き補償回
路３７は、フレーム間動きベクトルと第四のフレームメ
モリ４０の出力データに基づいて予測データの動き補償
を行い、加算回路３５でＩＤＣＴ回路３４の出力データ
と加算する。

【００６５】本実施例においては、ＤＣＴ符号化装置１
およびＤＣＴ復号化装置３は主にハードウェア的に処理
を行うように構成してあるが、画像データのデータレー
トが小さくいといった場合は、例えばＤＳＰ等を使用し
てソフトウェア的に処理を行うように構成してもよい。
また、上記実施例においては、ＤＣＴ符号化装置は２フ
レーム離れた画像データに基づいて２フレーム間動きベ
クトルを算出するように構成したが、さらに離れたフレ
ームの画像データに基づいて複数フレーム間動きベクト
ルを算出するように構成してもよい。この場合、ＤＣＴ
復号化装置３において複数フレーム間動きベクトルに基
づいて画像の再生を行う場合には、再生に使用される複
数フレーム間動きベクトルに対応する予測データと再生
使用とする画像の関係に対応した線形補間等を行う。

【００６６】本発明の画像データ符号化および復号化装
置および方法は、例えば実施例に示した変形例のように
種々の構成をとることが可能である。以上述べた実施例
は例示である。

【００６７】

【発明の効果】以上述べたように本発明によれば、復号
化装置に入力される圧縮画像データに誤りが発生しても
誤りがなかった場合とほぼ同等の画質を保つことが可能
であり、また、時間軸方向のエラー蓄積を最低限に抑え
ることが可能な画像データ符号化および復号化装置およ
び方法を提供することができる。

【図面の簡単な説明】

【図１】本発明の画像データ符号化および復号化装置お
よび方法を適用した画像データエンコーダの構成を示す
図である。

【図２】本発明の画像データ復号化装置および方法によ
る時間軸方向のエラーの蓄積に対する手当てを説明する
図である。

【図３】ＤＣＴ復号化装置の構成を示す図である。

【図４】ＤＣＴ復号化装置の処理を示すフローチャート
である。

【符号の説明】

１・・・ＤＣＴ符号化装置１１・・・減算回路１２・・・ＤＣＴ回路１３・・・量子化回路１４・・・可変長符号化回路１５・・・誤り訂正符号付加回路１６・・・逆量子化回路１７・・・ＩＤＣＴ回路１８・・・加算回路１９・・・第一のフレームメモリ２０・・・動き補償回路２１・・・動き評価回路２２・・・第二のフレームメモリ２３・・・動き評価回路３・・・ＤＣＴ復号化装置３１・・・誤り検出回路３２・・・ランレングス可変長復号回路３３・・・逆量子化回路３４・・・ＩＤＣＴ回路３５・・・加算回路３６・・・第五のフレームメモリ３７・・・動き補償回路３８・・・スイッチ３９・・・第三のフレームメモリ４０・・・第四のフレームメモリ

Claims

【特許請求の範囲】

【請求項１】圧縮、量子化される画像データに相当する
予測データを算出する手段と、１フレーム前の予測データを用いて入力画像データに対
するフレーム間動きベクトルを算出するフレーム間動き
ベクトル算出手段と、少なくとも２フレーム前の予測データを用いて入力画像
データに対するフレーム間動きベクトルを算出する複数
フレーム間動きベクトル算出手段と、画像データと予測データとの差分データを圧縮、符号化
する圧縮符号化手段と、フレーム間動きベクトルと複数フレーム間動きベクトル
と前記圧縮符号化された差分データとを符号化する符号
化手段とを有する画像データ符号化装置。
【請求項２】少なくとも２フレーム前の予測データを用
いて算出された入力画像データに対する複数フレーム間
動きベクトルと、圧縮符号化された画像データと予測デ
ータとの差分とを少なくとも含む入力データについて、前記圧縮符号化された差分を伸長する伸長手段と、前記複数フレーム間動きベクトルに基づいて対応する予
測データに動き補償を行う動き補償手段と、前記伸長された差分データと前記動き補償が行われた予
測データに基づいて前記入力画像データの復号を行う復
号手段とを有する画像データ復号化装置。
【請求項３】１フレーム前の予測データを用いて算出さ
れた入力画像データに対するフレーム間動きベクトル
と、少なくとも２フレーム前の予測データを用いて算出
された入力画像データに対する複数フレーム間動きベク
トルと、圧縮符号化された画像データと予測データとの
差分と、これらの誤り検出符号とを含む入力データにつ
いて、誤り検出を行う誤り検出手段と、前記圧縮された差分データを伸長する伸長手段と、前記入力データについて誤りが検出されない場合には、
前記フレーム間動きベクトルに基づいて１フレーム前の
予測データについて動き補償を行う第一の動き補償手段
と、前記入力データについて誤りが検出された場合には、前
記複数フレーム間動きベクトルに基づいて対応する予測
データについて動き補償を行う第二の動き補償手段と、前記伸長された差分データと前記動き補償が行われた予
測データに基づいて前記画像データの復号を行う復号手
段とを有する画像データ復号化装置。
【請求項４】複数フレーム間動きベクトルに基づいて対
応する予測データについて動き補償を行い、前記対応す
る予測データと再生する画像の関係に対応した線形補間
等を行う補間手段とを有することを特徴とする請求項２
または請求項３に記載の画像データ復号化装置。
【請求項５】圧縮、量子化される画像データに相当する
予測データを算出する手段と、１フレーム前の予測データを用いて入力画像データに対
するフレーム間動きベクトルを算出するフレーム間動き
ベクトル算出手段と、少なくとも２フレーム前の予測データを用いて入力画像
データに対するフレーム間動きベクトルを算出する複数
フレーム間動きベクトル算出手段と、画像データと予測データとの差分データを圧縮、符号化
する圧縮・符号化手段と、フレーム間動きベクトルと複数フレーム間動きベクトル
と前記圧縮符号化された差分データとを符号化する符号
化手段と、前記圧縮符号化された差分を伸長する伸長手段と、前記複数フレーム間動きベクトルに基づいて対応する予
測データに動き補償を行う動き補償手段と、前記伸長された差分データと前記動き補償が行われた予
測データに基づいて前記入力画像データの復号を行う復
号手段とを有する画像データ符号化および復号化装置。
【請求項６】画像データと予測データの差分データを圧
縮処理する圧縮手段と、予測データに１フレーム分の時間遅延を与える第一の遅
延手段と、予測データに２フレーム分の時間遅延を与える第二の遅
延手段と、前記圧縮された差分データを伸長する伸長手段と、画像データと前記第一の遅延手段から出力される予測デ
ータに基づいてフレーム間動きベクトルを算出する第一
の動きベクトル算出手段と、画像データと前記第二の遅延手段から出力される予測デ
ータに基づいて２フレーム間動きベクトルを算出する第
二の動きベクトル算出手段と、１フレーム分の時間遅延が与えられた予測データにフレ
ーム間動きベクトルに基づいて動き補償を行い予測デー
タを算出する手段と、予測データと前記伸長手段により伸長された前記圧縮さ
れた差分データを加算して次の予測データを算出する予
測データ算出手段と、前記圧縮された差分データ、フレーム間動きベクトル、
および２フレーム間動きベクトルとを多重化し、可変長
符号化する可変長符号化手段と、前記可変長符号化手段の出力データについて誤り検出符
号を付加する誤り検出符号付加手段とを有する画像デー
タ符号化装置。
【請求項７】１フレーム前の予測データを用いて算出さ
れた入力画像データに対するフレーム間動きベクトル
と、少なくとも２フレーム前の予測データを用いて算出
された入力画像データに対する複数フレーム間動きベク
トルと、圧縮符号化された画像データと予測データとの
差分と、これらの誤り検出符号とを含む入力データにつ
いて、誤り検出を行う誤り検出手段と、誤り検出された前記入力データについて可変長復号化を
行い、前記入力データ中の前記圧縮された差分データ、
フレーム間動きベクトル、および２フレーム間動きベク
トルを分離する可変長復号化手段と、前記圧縮された差分データを伸長する差分データ伸長手
段と、デコードデータに１フレーム分の時間遅延を与える第三
の遅延手段と、デコードデータに２フレーム分の時間遅延を与える第四
の遅延手段と、前記誤り訂正手段で誤りが検出された場合には、前記２
フレーム間動きベクトルに基づいて２フレーム分の時間
遅延が与えられた前記デコードデータについて動き補償
を行い、前記誤り訂正手段で誤りが検出されない場合に
は、前記フレーム間動きベクトルに基づいて１フレーム
分の時間遅延が与えられた前記デコードデータについて
動き補償を行う動き補償手段と、前記動き補償されたデコード信号と前記伸長された差分
データを加算して次のデコードデータとするデコードデ
ータ算出手段とを有する画像データ復号化装置。
【請求項８】圧縮、量子化される画像データに相当する
予測データを算出し、１フレーム前の予測データを用いて入力画像データに対
するフレーム間動きベクトルを算出し、少なくとも２フレーム前の予測データを用いて入力画像
データに対するフレーム間動きベクトルを算出し、画像データと予測データとの差分データを圧縮、符号化
し、フレーム間動きベクトルと複数フレーム間動きベクトル
と前記圧縮符号化された差分データとを符号化する画像
データ符号化方法。
【請求項９】少なくとも２フレーム前の予測データを用
いて算出された入力画像データに対する複数フレーム間
動きベクトルと、圧縮符号化された画像データと予測デ
ータとの差分とを少なくとも含む入力データについて、前記圧縮符号化された差分を伸長し、前記複数フレーム間動きベクトルに基づいて対応する予
測データに動き補償を行い、前記伸長された差分データと前記動き補償が行われた予
測データに基づいて前記入力画像データの復号を行う画
像データ復号化方法。
【請求項１０】１フレーム前の予測データを用いて算出
された入力画像データに対するフレーム間動きベクトル
と、少なくとも２フレーム前の予測データを用いて算出
された入力画像データに対する複数フレーム間動きベク
トルと、圧縮符号化された画像データと予測データとの
差分と、これらの誤り検出符号とを含む入力データにつ
いて、誤り検出を行い、前記圧縮された差分データを伸長し、前記入力データについて誤りが検出されない場合には、
前記フレーム間動きベクトルに基づいて１フレーム前の
予測データについて動き補償を行い、前記入力データについて誤りが検出された場合には、前
記複数フレーム間動きベクトルに基づいて対応する予測
データについて動き補償を行い、前記伸長された差分データと前記動き補償が行われた予
測データに基づいて前記画像データの復号を行う画像デ
ータ復号化方法。