JP3214849B2 - 画像予測復号化方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像予測復号化方
法および装置に関し、特に画像サイズが可変な場合にお
ける画像予測復号化処理に関するものである。

【０００２】

【従来の技術】デジタル画像を効率よく蓄積もしくは伝
送するには、圧縮符号化する必要がある。デジタル画像
を圧縮符号化するための方法として、ＪＰＥＧやＭＰＥ
Ｇに代表される離散コサイン変換（ＤＣＴ）のほかに、
サブバンドやウェアブレット、フラクタルなどの波形符
号化方法がある。また、画像間の冗長な信号を取り除く
には、動き補償を用いた画像間予測を行い、差分信号を
波形符号化する。

【０００３】ここでは、動き補償ＤＣＴに基づくＭＰＥ
Ｇ方式について説明する。まず、符号化しようとする１
フレームの入力画像を、複数の１６×１６画素の大きさ
のマクロブロックに分割して処理する。一つのマクロブ
ロックを、さらに８×８画素の大きさの４つのブロック
に分割し、８×８画素の大きさのブロックに対するＤＣ
Ｔを施してから、量子化する。これはフレーム内符号化
と呼ばれる。

【０００４】一方、ブロックマッチングをはじめとする
動き検出方法で、量子化しようとする対象マクロブロッ
クを含む当該フレームに対して時間的に隣接する別のフ
レームの中から、対象マクロブロックに対する誤差の最
も小さい予測マクロブロックを検出し、該検出された動
きに基づいて、過去の画像からの動き補償を行い、最適
な予測ブロックを取得する。誤差の最も小さい予測マク
ロブロックへの動きを示す信号が動きベクトルである。
予測マクロブロックを生成するために参照する画像を、
以後、参照画像と呼ぶ。次に対象となるブロックと対応
する予測ブロックとの差分を求め、該差分に対してＤＣ
Ｔを施し、該ＤＣＴ変換係数を量子化し、該量子化出力
を動き情報とともに伝送もしくは蓄積する。これをフレ
ーム間符号化と呼ぶ。

【０００５】また、このフレーム間符号化には、表示順
で前にある画像からのみ予測するモードと、前にある画
像と後ろにある画像の両方から予測するモードがある。
前者を前方予測、後者を双方向予測と呼ぶ。

【０００６】受信側では、量子化された変換係数をもと
の差分信号に復元した後に、該差分信号をもとに動きベ
クトルに基づいて予測ブロックを取得し、該予測ブロッ
クと差分信号とを加算し、画像を再生する。なお、この
従来の技術では、参照画像（予測画像を生成するために
参照する画像）と、対象画像のサイズとが同じであるこ
とを前提にしている。

【０００７】最近、圧縮効率を向上させると同時に、画
像を構成する物体単位の再生ができるように、画像を構
成する物体を、任意形状の画像として、別々に圧縮符号
化して伝送するようにしている。このような任意形状の
画像の符号化，復号化では、画像のサイズが変化するこ
とがよくある。その一例としては、ボールがだんだん小
さくなり，消えてしまう例が考えられる。また、場合に
よっては、画像（物体）のサイズがゼロになることもあ
る。

【０００８】

【発明が解決しようとする課題】通常の場合には、参照
画像は対象画像の直前にある再生画像である。参照画像
のサイズがゼロの場合、参照画像には何も定義されない
ために、即ち予測符号化に用いる有意な画像データがな
いために、予測符号化することができなくなる。

【０００９】この場合にも、従来の技術を適用しようと
すると、フレーム内符号化を行うしか方法はない。しか
るに、フレーム内符号化を行うと、一般的に符号量が増
え、圧縮率が低下してしまう。動画像のシーケンスの中
で、画像が頻繁に消えたり（この場合、画像サイズはゼ
ロになる）、現れたりする場合は、符号化効率が非常に
悪くなる。たとえば、スポットライトがフラッシングす
る画像では、ライトが画像単位で消えたり，現れたりす
ると、すべてのライトの画像を、フレーム内符号化する
ことになる。

【００１０】本発明は、上記のような問題点に鑑みてな
されたもので、圧縮効率の向上のため、画像を構成する
物体を、物体単位で、別々に圧縮符号化して伝送する場
合に、画像サイズが変化して画像が消えてしまうような
画像が、画像の予測復号化の際に参照画像として用いら
れるのを回避することができる、残差信号（差分信号）
の抑圧に適した画像予測復号化方法および装置を得るこ
とを目的とする。

【００１１】

【課題を解決するための手段】この発明（請求項１）に
係る画像予測復号化方法は、画像サイズ可変な画像を符
号化した符号化データを復号化し、予測画像を用いて画
像を再生する画像予測復号化方法であって、再生対象の
画像よりも先に復号化された、前方参照画像に対する第
１の符号化データと後方参照画像に対する第２の符号化
データのそれぞれが、画像符号化データを含んでいるか
どうかを判断し、前記第１の符号化データが画像符号化
データを含んでいる場合にのみ、前記第１の符号化デー
タを復号化して得られた画像を前方参照画像として選択
し、前記第２の符号化データが画像符号化データを含ん
でいる場合にのみ、前記第２の符号化データを復号化し
て得られた画像を後方参照画像として選択し、選択した
前方参照画像と後方参照画像の少なくとも一方を参照し
て予測画像を生成し、生成した予測画像を、復号化した
画像に加えて再生画像を生成するものである。

【００１２】この発明（請求項２）は、請求項１記載の
画像予測復号化方法において、復号化された前記第１お
よび第２の符号化データが画像符号化データを含むかど
うかの判断を、符号化データに付けられたフラグであっ
て、符号化データが画像符号化データを含むかどうかを
表わすフラグに基づいて実行するものである。

【００１３】この発明（請求項３）に係る画像予測復号
化装置は、画像サイズ可変な画像を符号化した符号化デ
ータを復号化し、予測画像を用いて画像を再生する画像
予測復号化装置であって、符号化データを復号化する復
号化手段と、再生対象の画像よりも先に復号化された、
前方参照画像に対する第１の符号化データと後方参照画
像に対する第２の符号化データのそれぞれが、画像符号
化データを含んでいるかどうかを判断し、前記第１の符
号化データが画像符号化データを含んでいる場合にの
み、前記第１の符号化データを復号化して得られた画像
を前方参照画像として予測画像を生成し、前記第２の符
号化データが画像符号化データを含んでいる場合にの
み、前記第２の符号化データを復号化して得られた画像
を後方参照画像として予測画像を生成する予測画像生成
手段と、前記予測画像生成手段によって生成された予測
画像を、前記復号化手段が復号化した画像に加えて再生
画像を生成する加算手段と、を備えたものである。

【００１４】この発明（請求項４）は、請求項３記載の
画像予測復号化装置において、前記予測画像生成手段
を、直前に前記復号化手段に入力された符号化データが
画像符号化データを含むかどうかの判断を、直前に前記
復号化手段に入力された符号化データに含まれるフラグ
に基づいて実行するものとしたものである。

【００１５】

【発明の実態の形態】以下、本発明の実施の形態につい
て、図１ないし図７を用いて説明する。 （実施の形態１）図１は本発明の実施の形態１による画
像予測復号化方法における，予測画像生成方法の流れ図
を示す。図１を説明する前に、図２を用いて、本発明に
よる画像予測復号化における画像予測の方法について説
明する。本実施の形態１の画像予測復号化方法において
用いる入力画像の画像サイズは、可変であり、場合によ
っては、サイズがゼロになることもある。

【００１６】図２(a)は、表示順に並んだ動画像の各画
像２０１〜２１０を示す。画像２０１が最初の画面で、
その次が、画像２０２, ……と、順に表示される。この
順序を＃１〜＃１０で示している。画像＃１（２０１）
は、最初の画像であり、フレーム内符号化を行う。本実
施の形態１では、画像（１フレーム）を、複数の８×８
画素の大きさのブロックに分割し、各８×８画素の大き
さのブロックのＤＣＴを施し、量子化する。量子化した
係数を、可変長符号化する。復号化する場合は、該可変
長符号化により得られた符号化データを可変長復号化
し、該復号化により得られた量子化係数を逆量子化して
から、逆ＤＣＴ変換することにより、画像を再生する。
次に、画像＃２（２０２）を、すでに再生された画像＃
１（２０１）を参照して、フレーム間予測符号化する。

【００１７】本実施の形態１では、ブロックマッチング
の動き検出方法で、画像＃１（２０１）の中から対象ブ
ロックに対し誤差の最も小さい予測ブロックを検出す
る。検出された、対象ブロックから予測ブロックへの動
きに基づいて、再生された画像＃１（２０１）から、対
象ブロックの動き補償により、最適な予測ブロックを取
得する。次に、対象となるブロックと、対応する予測ブ
ロックとの差分を求め、該差分に対しＤＣＴを施し、該
ＤＣＴ変換係数を量子化し、該量子化出力を、動き情報
とともに、伝送もしくは蓄積する。ここで、再生された
画像＃１（２０１）は、画像＃２（２０２）の参照画像
となる。これを前方予測と呼ぶ。復号化する際には、逆
量子化，及び逆ＤＣＴした差分に予測ブロックを加算
し、画像を再生する。

【００１８】同様に、画像＃３（２０３）と、画像＃４
（２０４）とは、矢印が示す参照画像から予測符号化を
行う。また、画像＃６（２０６），画像＃８（２０
８），画像＃１０（２１０）のように、２枚前の画像か
ら予測することができる。また、画像＃５（２０５），
画像＃７（２０７），画像＃９（２０９）のように、前
方予測のほかに、当該画像より後に表示される画像を
も、参照することができる。

【００１９】このように当該画像より後に表示される画
像を参照して予測を行うのを後方予測と呼ぶ。前方予測
と後方予測をともにする場合は、これを双方向予測と呼
ぶ。双方向予測では、前方予測モードと，後方予測モー
ドと，前方後方予測を平均化する補間モードとがある。

【００２０】図２(b) は、図２(a) で予測した画像の伝
送順序、すなわち復号化順序を示す。画像＃１（２１
１）が、最初に復号化し、再生される。それを参照し、
画像＃２（２１２）を復号化する。画像＃５（２１６）
のような，双方向予測画像に対しては、予測に用いる参
照画像を、先に復号化し、再生する必要がある。そのた
めに、画像＃６（２１５）は、画像＃５（２１６）より
先にある。同様に、画像＃８（２１７）は、画像＃７
（２１８）より先に、画像＃１０（２１９）は、画像＃
９（２２０）より先に、伝送され、復号化され、再生さ
れる。

【００２１】画像サイズ可変の画像を伝送する場合に
は、各画像に対して、サイズを伝送しなければならな
い。本実施の形態１では、画像のサイズを、画像の符号
化データの先頭に記述し、水平，垂直のサイズＨｍ，Ｖ
ｍを、夫々２０ビットで表す。図７は、本実施の形態１
における画像の符号化データを示し、ここで、この符号
化データ（ＶＤ）内には、上記画像サイズのデータを示
す水平，垂直のサイズＨｍ，Ｖｍの他に、動きベクト
ル、量子化幅、及び、ＤＣＴ係数等が含まれる。

【００２２】次に、図１の流れ図を用いて、本発明の実
施の形態１による画像予測復号化方法における，予測画
像生成方法について説明する。予測画像を生成する際に
は、まず、ステップ１０２で、直前の参照画像のサイズ
を入力し、ステップ１０３で、参照画像のサイズがゼロ
かどうかを調べる。

【００２３】ここで、参照画像は、図２(a) に示す復号
化順序において、常に、復号化の対象（符号化する場合
は、符号化の対象）となる画像の前にある。該参照画像
は、本実施の形態１による画像予測復号化方法において
は、直前に再生される画像である。たとえば、図２(b)
の画像＃４（２１４）の参照画像は、その直前の画像＃
３（２１３）になる。但し、双方向予測で再生する画像
は、予測に用いられないために、参照画像としては使わ
ない。したがって、例えば、画像＃８（２１７）の参照
画像は、画像＃６（２１５）になる。

【００２４】上記図１における，ステップ１０３の判定
において、参照画像のサイズがゼロでなければ、ステッ
プ１０４に進み、該ステップ１０４で、該直前の参照画
像を用いて、予測画像を生成する。一方、上記ステップ
１０３の判定において、参照画像のサイズがゼロであれ
ば、ステップ１０５に進み、該ステップ１０５で、画像
サイズがゼロでない最近に再生された画像を、参照画像
として用いて、予測画像を生成する。ここでの，画像サ
イズがゼロでない最近に再生された画像の見つけ方につ
いては、図２(b) を用いて以下に説明する。

【００２５】画像＃４（２１４）の予測画像を生成する
場合において、画像＃４（２１４）の前の画像＃３（２
１３）のサイズが、ゼロであるとし、画像＃２（２１
２）のサイズが、ゼロでないとする。この場合、画像＃
２（２１２）を参照して、画像＃４（２１４）の予測画
像を生成する。同様に、画像＃６（２１５）の予測画像
を生成する場合において、画像＃３（２１３）と、画像
＃４（２１４）のサイズがゼロであるとすると、画像＃
２（２１２）を参照して、予測画像を生成する。

【００２６】ここで、予測画像の生成方法として、本実
施の形態１では、ＭＰＥＧ１と同様に、ブロック単位の
動き補償方法を用いる。

【００２７】図３は、本発明の実施の形態１による画像
予測復号化装置のブロック図を示す。本実施の形態１の
画像予測復号化装置３００は、画像サイズ可変な画像を
所定の方法で圧縮符号化した画像データを受け、該画像
データに対する予測復号化処理を施す構成となってい
る。すなわち、この画像予測復号化装置３００は、上記
圧縮符号化した画像データを解析して、量子化幅やＤＣ
Ｔ係数をライン３１２に、動きベクトルをライン３１８
に、画像サイズをライン３２１に出力するデータ解析器
３０２と、該データ解析器３０２からの圧縮されたブロ
ックのデータ（圧縮ブロック）を伸長処理により伸長ブ
ロックに変換する復号化器３０３と、伸長ブロックと予
測ブロックとを加算して再生ブロックを生成する加算器
３０６とを有している。

【００２８】また、上記画像予測復号化装置３００は、
上記再生ブロックを格納するフレームメモリ部３０９
と、上記動きベクトルに基づいてフレームメモリへのア
クセスのためのアドレスを発生し、フレームメモリ内の
画像から該アドレスに対応したブロックを上記予測ブロ
ックとして求める予測画像生成器３１０とを有してい
る。ここでは、この予測画像生成器３１０は、データ解
析器３０２からの画像サイズに基づいて、参照されるべ
き有意な画像データが存在する最近に再生された１つの
再生画像を参照画像として決定する動作も行うようにな
っている。なお、この参照画像の決定は、図３に点線で
示すように、データ解析器３０２からの画像サイズに基
づいてフレームメモリ部３０９を制御する制御器３２０
を設け、該制御器３２０により、参照されるべき有意な
画像データが存在する最近に再生された１つの再生画像
が参照画像として選択されるようフレームメモリ部３０
９を制御する構成としてもよい。

【００２９】また、ここでは、上記復号化器３０３は、
上記データ解析器３０２からの圧縮ブロックに逆量子化
処理を施す逆量子化器３０４と、ライン３１３からの該
逆量子化器３０４の出力に対して、周波数領域信号を空
間領域信号に変換する処理を施す逆離散コサイン変換器
（ＩＤＣＴ）３０５とから構成されている。また、図中
３０１及び３０７はそれぞれ、本画像予測復号化装置３
００の入力端子及び出力端子である。

【００３０】以上のように構成された本実施の形態１に
よる画像予測復号化装置について、以下、その動作を述
べる。画像サイズ可変な画像を、所定の方法で圧縮符号
化した画像データ（符号化データ）を、入力端子３０１
に入力する。本実施の形態１では、ＭＰＥＧ１と同じ動
き補償ＤＣＴ方法で圧縮符号化を行っており、上記符号
化データには、上述したように、動きベクトル、量子化
幅、ＤＣＴ係数、及び、画像サイズのデータ，が含まれ
る。

【００３１】次に、データ解析器３０２にて、上記圧縮
符号化した画像データを解析し、圧縮されたブロックの
データとして、量子化幅や、ＤＣＴ係数を、ライン３１
２を経由して、復号化器３０３に出力する。また、上記
データ解析器３０２で解析した動きベクトルを、ライン
３１８を経由して、予測画像生成器３１０に送り、同じ
く上記データ解析器３０２で解析した画像サイズを、ラ
イン３２１を経由して、制御器３２０に出力する。

【００３２】復号化器３０３では、逆量子化器３０４
と、逆離散コサイン変換器（逆ＤＣＴ変換器）３０５に
より、上記圧縮されたブロックのデータ、即ち圧縮ブロ
ックを伸長し、伸長ブロックに復元する。本実施の形態
１では、逆量子化器３０４で、上記圧縮ブロックを逆量
子化し、逆離散コサイン変換（ＩＤＣＴ）３０５で周波
数領域信号を空間領域信号に変換し、伸長ブロック３１
４を得る。予測画像生成器３１０では、ライン３１８を
経由して送られた動きベクトルをもとに、フレームメモ
リ部３０９をアクセスするためのアドレス３２１を生成
してこれをフレームメモリ部３０９に入力し、フレーム
メモリ部３０９に格納された画像の中から予測ブロック
３１７を生成し、出力させる。該予測ブロック３１７，
即ち３１９と、上記伸長したブロック３１４とを、加算
器３０６に入力し、加算することにより、再生ブロック
３１５を生成する。そして、該再生ブロック３１５を、
出力端子３０７から出力させると同時に、ライン３１６
を介して、フレームメモリ部３０９に格納する。なお、
ここで、フレーム内符号化を行う場合には、予測ブロッ
クのサンプル値は、すべてゼロになるものである。

【００３３】上記予測画像生成器３１０の動作は、図１
の流れ図を用いて説明したものと同じである。即ち、ま
ず、参照画像のサイズが予測画像生成器３１０に入力さ
れ、該予測画像生成器３１０において、参照画像が決定
される。なお、この参照画像の決定は、制御器３２０を
介して、ライン３２２を経由しての，参照画像のサイズ
がゼロであるかどうかの情報により、フレームメモリ部
３０９を制御することにより行うことも可能である。

【００３４】図４は、本発明の実施の形態１による画像
予測復号化装置におけるフレームメモリ部の一例であ
る，フレームメモリバンク４０６のブロック図を示す。
フレームメモリバンク４０６内には、３つのフレームメ
モリ４０１〜４０３が設けられている。再生された画像
は、これらのフレームメモリ４０１〜４０３のうちのい
ずれかに格納される。また、予測画像を生成する時に、
これらのフレームメモリ４０１〜４０３をアクセスす
る。

【００３５】本実施の形態１では、切り替えスイッチ４
０４と、４０５とを具備している。

【００３６】スイッチ４０５は、ライン４０８（図３の
ライン３１６に相当）を介して入力される，再生された
画像を、いずれのフレームメモリに格納するかを決める
ためのもので、制御器３２０によって制御されて、即ち
制御信号３２２に応じて、フレームメモリ４０１〜４０
３を、順番に切り替える。すなわち、１番目の再生画像
がフレームメモリ４０１に格納されたあとには、２番目
の再生画像をフレームメモリ４０２に格納する。以下同
様であるが、３番目の再生画像がフレームメモリ４０３
に格納されたあとには、フレームメモリ４０１に切り替
える。スイッチ４０４は、ライン４０７（図３のライン
３１７に相当）を介して、予測画像生成器３１０に接続
する。このスイッチ４０４も、制御器３２０によって、
即ち制御信号３２２に応じて、所定の順番で切り替えら
れる。但し、その切り替え順序は、参照画像のサイズに
よって、変更される。たとえば、所定の順番に従えば、
フレームメモリ４０２に接続し、予測画像を生成すると
ころであっても、フレームメモリ４０２の画像サイズが
ゼロの場合、制御器３２０は一つ前のフレームメモリ４
０１（これは、その画像サイズがゼロでないものとす
る）に接続するように、スイッチ４０４を制御する。こ
のようにして、画像サイズがゼロでない参照画像から、
予測画像を生成するようにすることができる。なお、ス
イッチ４０４は、同時に、複数のフレームメモリに接続
してもよい。また、１枚の画像を再生するたびに、フレ
ームメモリをリセットする装置では、再生される画像の
サイズがゼロのときにはフレームメモリをリセットしな
いように、制御器３２０が管理することにより、サイズ
がゼロでない，最近に再生された画像を、フレームメモ
リに残すことができる。すなわち、フレームメモリを更
新しないようにすることができる。

【００３７】なお、上記実施の形態１においては、ブロ
ック動き補償離散コサイン変換方式を用いた場合につい
て説明したが、本発明は、それ以外の予測方法（グロー
バル動き補償、任意格子状ブロック動き補償などを用い
た予測方法）においても、適用可能である。また、参照
画像として用いられる再生画像が１枚の場合について説
明したが、複数枚の参照画像から、予測画像を生成する
場合にも、同様に適用することができる。

【００３８】以上のような、本実施の形態１によれば、
入力された直前の参照画像のサイズを検出し、該直前の
参照画像のサイズが０でないときは、該直前の参照画像
を用いて予測画像を生成し、該直前の参照画像のサイズ
が０のときは、サイズが０でない最近に再生された画像
を用いて、予測画像を生成するようにしたので、圧縮効
率の向上のため、画像を構成する物体を、物体単位で、
別々に圧縮符号化して伝送する場合に、画像サイズが変
化し、画像が消えてしまうような画像を、画像の予測復
号化，予測符号化において参照画像として用いてしまう
ということがなくなり、残差信号（差分信号）を抑圧で
きる適正な予測復号化，予測符号化を行うことができ
る、という効果が得られる。

【００３９】（実施の形態２）なお、上記実施の形態１
では、参照画像のサイズが、ゼロかどうかを検出し、こ
の検出した情報を用いて、参照画像を決定するようにし
た場合について述べたが、画像サイズがゼロであること
が、別の指標（例えば、１ビットのフラグＦ，等）で示
される場合には、その指標を用いて、制御を行うように
することもでき、本実施の形態２は、このようにしたも
のである。

【００４０】即ち、本実施の形態２においては、対象画
像の符号化データは、図９に示すように、画像サイズが
ゼロであること、即ち対応する参照画像が完全に透過す
るもので符号化データが存在しないこと，を示す１ビッ
トのフラグＦを、画像データの前の方，すなわち、画像
サイズのデータを示す水平，垂直のサイズＨｍ，Ｖｍよ
りも前の方に設けたもので（ここで、画像サイズがゼロ
であれば、フラグＦは“０”とする）、このような場合
に、予測画像の生成方法を、図８に示すように、このフ
ラグＦを用いて、その制御を行うようにしたものであ
る。

【００４１】次に、図８の流れ図を用いて、本発明の実
施の形態２による画像予測復号化方法における，予測画
像生成方法について説明する。予測画像を生成する際に
は、まず、ステップ８０２で、直前の参照画像を入力
し、ステップ８０３で、該参照画像のフラグＦが“１”
かどうかを調べる。ステップ８０３の判定において、該
参照画像のフラグＦが“１”であれば、これは、画像サ
イズがゼロではなく、言い換えれば、参照画像が完全に
透過するものでなく、符号化データが存在するものであ
るので、ステップ８０４で、該直前の参照画像を用い
て、予測画像を生成する。

【００４２】図８における，ステップ８０３の判定にお
いて、該参照画像のフラグＦが“１”でなければ、ステ
ップ８０５に進み、該ステップ８０５で、フラグＦが
“０”でない最近に再生された画像を、参照画像として
用いて、予測画像を生成する。このような本実施の形態
２によれば、上記実施の形態１におけると同様に、画像
を構成する物体を、物体単位で、別々に圧縮符号化して
伝送する場合に、画像サイズが変化し、画像が消えてし
まうような画像を、参照画像として用いてしまうという
ことがなくなり、残差信号（差分信号）を抑圧できる適
正な予測復号化，予測符号化を行うことができるととも
に、対象画像の符号化データが、その先頭に、直前の再
生画像に、参照されるべき有意な符号化データが存在す
るか否かを示すフラグをもつものとし、このフラグを検
出して参照画像を決定するようにしたので、参照画像を
決定する演算を、簡易に行うことができる効果が得られ
る。

【００４３】（実施の形態３）図５は本発明の実施の形
態３による画像予測復号化装置における，予測画像生成
方法の流れ図を示す。本実施の形態３における予測画像
生成方法は、図１に示す実施の形態１におけるとほとん
ど同じであり、異なる処理は、図１のステップ１０５に
代わる、図５のステップ５０５である。ステップ５０５
では、参照画像がゼロのとき、あるいは参照画像が完全
に透過するときに、（あるいは画像のフラグＦが“０”
であるときに）、予測画像として、所定の値を代入して
なるもの，即ち所定の値を有する予測画像を生成する。

【００４４】本実施の形態３では、これを灰色，即ち輝
度信号と色差信号の値がともに１２８，とする。その結
果、本実施の形態３では、符号化する時には、符号化の
対象となるブロックから、灰色のブロックを引き算し、
復号化する時には、復号化の対象となるブロックに、灰
色のブロックを加算する。なお、上記所定の値は、可変
の値とし、これを符号化部から復号化部に伝送し、これ
を用いて、予測画像を生成するようにしてもよい。

【００４５】このような本実施の形態３によれば、画像
を構成する物体を、物体単位で、別々に圧縮符号化して
伝送する場合に、画像サイズが変化し、画像が消えてし
まうような画像を、参照画像として用いてしまうという
ことがなくなり、残差信号（差分信号）を抑圧できる適
正な予測復号化，予測符号化を行うことができるととも
に、参照画像のサイズが０であることを検出したとき、
即ち参照画像が完全に透過するときに、予測画像とし
て、所定の値を有する予測画像を生成するようにしたの
で、上記実施の形態１におけると同様の効果を得ること
ができ、さらに、予測画像を容易に生成することができ
る効果が得られる。

【００４６】（実施の形態４）図１０は本発明の実施の
形態４による画像予測復号化装置における，予測画像生
成方法の流れ図を示す。本実施の形態４における予測画
像生成方法は、図８に示す実施の形態２におけるとほと
んど同じであり、異なる処理は、図８のステップ８０５
に代わる、図１０のステップ１００５である。ステップ
１００５では、参照画像の画像のフラグＦが“０”であ
るときに、予測画像として、所定の値を代入してなるも
の，即ち所定の値を有する予測画像を生成する。

【００４７】このような本実施の形態４によれば、画像
を構成する物体を、物体単位で、別々に圧縮符号化して
伝送する場合に、画像サイズが変化し、画像が消えてし
まうような画像を、参照画像として用いてしまうという
ことがなくなり、残差信号（差分信号）を抑圧できる適
正な予測復号化，予測符号化を行うことができるととも
に、対象画像の符号化データが、その先頭に、直前の再
生画像に参照されるべき有意な符号化データが存在する
か否かを示すフラグをもつものとし、このフラグが
“０”であることを検出したときに、予測画像として、
所定の値を有する予測画像を生成するようにしたので、
上記実施の形態２におけると同様の効果を得ることがで
き、さらに、予測画像を容易に生成することができる効
果が得られる。

【００４８】（実施の形態５）図６は、本発明の実施の
形態５による双方向予測を用いた、画像予測復号化方法
における，予測画像生成方法の流れ図を示す。以下、本
実施の形態５の特徴である双方向予測の場合について、
参照画像サイズがゼロの場合、即ち参照画像が完全に透
過する場合の処理について説明する。

【００４９】即ち、図６に示されるように、まず、ステ
ップ６０２において、前方，後方の参照画像（両方向の
参照画像）のサイズを入力する。図２(a) の画像＃５
（２０５）は、双方向予測画像で、前方参照画像は、画
像＃４（２０４）であり、後方参照画像は、画像＃６
（２０６）である。

【００５０】そして、ステップ６０３とステップ６０４
によって、前方，及び後方の参照画像のサイズがともに
ゼロの場合、ステップ６０５において、所定の値を代入
してなる画像，即ち所定の値を有する画像を、予測画像
とする。ステップ６０３とステップ６０４によって、前
方参照画像のサイズがゼロで、後方参照画像のサイズが
ゼロでない場合、ステップ６０６において、後方参照画
像のみを用いて、予測画像を生成する。

【００５１】次に、ステップ６０３とステップ６０７に
よって、前方参照画像のサイズがゼロでなくて、後方参
照画像のサイズがゼロである場合、ステップ６０８にお
いて、前方参照画像のみを用いて、予測画像を生成す
る。ステップ６０３とステップ６０７によって、前方後
方参照画像のサイズがともにゼロでない場合、ステップ
６０９において、両方向の参照画像を用いて、予測画像
を生成する。

【００５２】そして、ステップ６１０で、生成した予測
画像を出力し、符号化部では、該予測画像を、対象画像
から引き算し、復号化部では、該予測画像を、対象画像
の差分に、加算する。このようにして、残差信号（差分
信号）を抑圧することができる。

【００５３】このような本実施の形態５によれば、画像
を構成する物体を、物体単位で、別々に圧縮符号化して
伝送する場合において、両方向参照画像を用いて予測画
像を生成する場合に、画像サイズが変化し、画像が消え
てしまうような画像を、参照画像として用いてしまうと
いうことがなくなり、残差信号（差分信号）を抑圧でき
る適正な予測復号化，予測符号化を行うことができると
ともに、予測画像として、所定の値を有する予測画像を
生成するようにしたので、予測画像を容易に生成するこ
とができる効果が得られる。

【００５４】（実施の形態６）図１１は本発明の実施の
形態６による両方向予測を用いた、画像予測復号化方法
における，予測画像生成方法の流れ図を示す。以下、本
実施の形態６は、上記実施の形態２，４の、上記実施の
形態１，３に対する関係と同じである。即ち、本実施の
形態６は、図６に示す実施の形態５における、図６のス
テップ６０３，６０４，６０７における「サイズがゼロ
か？」を、「のフラグＦが“０”か？」に変更して、そ
れぞれ図１１のステップ１１０３，１１０４，１１０７
としたものである。

【００５５】従って、このような本実施の形態６によれ
ば、画像を構成する物体を、物体単位で、別々に圧縮符
号化して伝送する場合において、両方向参照画像を用い
て予測画像を生成する場合に、画像サイズが変化し、画
像が消えてしまうような画像を、参照画像として用いて
しまうということがなくなり、残差信号（差分信号）を
抑圧できる適正な予測復号化，予測符号化を行うことが
できるとともに、前方，後方の両参照画像のフラグＦが
０であることを検出したときに、所定の値を有する予測
画像を生成するようにしたので、画像サイズが変化し、
画像が消えてしまうような画像の検出を容易に行うこと
ができ、さらには、予測画像を容易に生成することがで
きる効果が得られる。以下、さらなる本発明の実施の形
態７，８として画像予測符号化装置について説明する。

【００５６】（実施の形態７）図１２は本発明の実施の
形態７による画像予測符号化装置のブロック図を示す。
この画像予測符号化装置１０００は、輝度信号及び色差
信号からなるテクスチャー信号に対する予測符号化を行
うテクスチャー符号化部１１００と、形状信号に対する
予測符号化を行う形状符号化部１２００とを有してい
る。

【００５７】上記テクスチャー符号化部１１００は、１
フレームのテクスチャー信号を、符号化処理の単位であ
る１６×１６画素の大きさのマクロブロック毎に分割し
て出力するブロック化器１１１０と、符号化処理の対象
となる対象ブロックと、これに対応する予測ブロックと
の差分を求める減算器１１６０と、該差分を圧縮符号化
する圧縮符号化器１１２０と、該圧縮符号化器１１２０
の出力を伸長復号する局所復号化器１１３０とを有して
いる。ここで、上記圧縮符号化器１１２０は、上記差分
に対してＤＣＴを施す離散コサイン変換器１１２１と、
ＤＣＴ変換係数を量子化する量子化器１１２２とから構
成されている。また上記局所復号化器１１３０は、上記
量子化器１１２２の出力を逆量子化する逆量子化器１１
３１と、該逆量子化器１１３１の出力に対して、周波数
領域信号を空間領域信号に変換する逆ＤＣＴを施す逆離
散コサイン変換器１１３２とから構成されている。

【００５８】また、上記テクスチャー符号化部１１００
は、上記逆離散コサイン変換器１１３２の出力である伸
長ブロックと上記予測ブロックとを加算して再生ブロッ
クを生成する加算器１１７０と、該再生ブロックを格納
するフレームメモリ部（ＦＭ１）１１４０と、所定の動
き検出法により検出された動き情報に基づいて、該フレ
ームメモリ部１１４０に格納された画像から動き補償に
より対象ブロックに対応する予測ブロックを取得する予
測画像生成器１１５０とを有している。

【００５９】この予測画像生成器１１５０は、ブロック
化器１１１０の出力から得られる画像サイズに基づい
て、フレームメモリブロック１１４０に格納されている
再生画像から、予測ブロック（予測画像）を生成する際
に参照する参照画像を設定する動作をも行うようになっ
ている。

【００６０】一方、上記形状符号化部１２００は、１フ
レームの形状信号を、符号化処理の単位である１６×１
６画素の大きさのマクロブロック毎に分割して出力する
ブロック化器１２１０と、符号化処理の対象となる対象
ブロックと、これに対応する予測ブロックとの差分を求
める減算器１２６０と、該差分を所定の符号化方法によ
り符号化する形状符号化器１２２０と、該形状符号化器
１２２０の出力を上記所定の符号化方法に対応する復号
化方法により復号する形状復号化器１２３０とを有して
いる。ここで、上記形状符号化器１１２０は、、四分木
やチェイン符号化方法等により上記減算器１２６０の出
力を符号化する構成となっている。

【００６１】また、上記形状符号化部１２００は、上記
形状復号化器１２３０の出力である復号ブロックと上記
予測ブロックとを加算して再生ブロックを生成する加算
器１２７０と、該加算器１２７０から出力される復号ブ
ロックを格納するフレームメモリ部（ＦＭ２）１２４０
と、所定の動き検出法により検出された動き情報に基づ
いて、該フレームメモリ部１２４０に格納された形状情
報から動き補償により対象ブロックに対応する予測ブロ
ックを取得する予測画像生成器１２５０とを有してい
る。ここでは、該予測画像生成器１２５０は、上記ブロ
ック化器１２１０の出力から得られる画像サイズに基づ
いて、フレームメモリブロック１２４０に格納されてい
る再生画像から、予測ブロック（予測画像）を生成する
際に参照する参照画像を決定する動作をも行うようにな
っている。

【００６２】なお、上記各符号化部１１００及び１２０
０での参照画像の決定は、図１２に点線で示すように、
上記再生ブロックに基づいて形状検出を行う形状検出器
１２８０を設け、この形状検出器１２８０から出力され
る形状検出出力により上記各フレームメモリ部（ＦＭ
１，ＦＭ２）１１４０，１２４０を制御することにより
行うようにしてもよい。この場合における形状検出出力
によるフレームメモリ部の制御は、上記実施の形態１に
おける制御器３２０によるフレームメモリ部３０９の制
御と全く同様に行われる。また、この場合には、上記形
状検出出力は、可変長符号化器１０１０に供給され、テ
クスチャー信号及び形状信号の符号化データとともに伝
送されることとなる。

【００６３】また、上記画像予測符号化装置１０００
は、上記テクスチャー符号化部１１００の出力である符
号化テクスチャー信号、上記形状符号化部１２００の出
力である符号化形状信号及び形状検出出力を可変長符号
化し、多重化して出力する可変長符号化器１０１０を有
している。なお、図中、１００１はテクスチャー信号の
入力端子、１００２は形状信号の入力端子、１００３は
符号化データの出力端子である。

【００６４】次に動作について説明する。この画像予測
符号化装置１０００にテクスチャー信号（輝度・色差信
号）及び形状信号が入力されると、上記テクスチャー信
号及び形状信号はそれぞれ対応する符号化部１１００，
１２００おけるブロック器１１１０，１２１０にて符号
化処理の単位となるマクロブロックに分割され、各マク
ロブロック毎に予測符号化処理が行われる。

【００６５】テクスチャー信号符号化部１１００では、
対象ブロックと予測ブロックとの差分が減算器１１６０
により求められ、ＤＣＴ器１１２１にてこの差分がＤＣ
Ｔ係数に変換され、さらにこのＤＣＴ係数が量子化器１
１２２にて量子化係数に変換される。そしてこの量子化
係数は可変長符号化器１０１０に出力される。

【００６６】上記量子化係数は逆量子化器１１３１にて
ＤＣＴ係数に逆変換され、さらにこのＤＣＴ係数は、Ｉ
ＤＣＴ器１１３０での周波数領域のデータを空間領域の
データに変換する処理により、上記対象ブロックに対応
する伸長ブロックに変換される。さらにこの伸長ブロッ
クと上記予測ブロックとが加算器１１７０により加算さ
れて再生ブロックが生成される。そしてこの再生ブロッ
クは、フレームメモリ部１１４０に格納される。このと
き、上記予測画像生成器１１５０では、所定の動き検出
法により検出された動き情報に基づいて、該フレームメ
モリ部１１４０に格納された画像から動き補償により対
象ブロックに対応する予測ブロックが生成する処理が行
われている。また、この予測画像生成器１１５０では、
ブロック化器１１１０の出力から得られる画像サイズに
基づいて、フレームメモリブロック１１４０に格納され
ている再生画像から、参照されるべき有意な画像データ
が存在する最近に再生された１つの再生画像を参照画像
として決定する。なお、この参照画像の決定は、形状検
出器１２８０が設けられている場合には、その出力であ
る形状検出出力，つまり通常参照されるべき再生画像の
サイズがゼロであるかどうかの情報により、フレームメ
モリ部１１４０を制御することにより行うことも可能で
ある。

【００６７】また、上記テクスチャー符号化部１１００
の処理と並行して、形状符号化部１２００では、形状信
号に対する予測符号化処理が、上記テクスチャー信号の
予測符号化処理とほぼ同様に行われる。つまり、対象ブ
ロックと予測ブロックとの差分が減算器１２６０により
求められ、形状符号化器１２２０にてこの差分が四分木
やチェイン符号化方法等の方法で符号化されて上記可変
長符号化器１０１０に出力される。また上記形状符号化
器１２２０からの形状符号化信号は形状復号化器１２３
０により復元され、復元ブロックと予測ブロックが加算
器１２７０により加算されて再生ブロックが生成され
る。

【００６８】この加算器１２７０から出力される再生ブ
ロックはフレームメモリ部１２４０に格納され、上記予
測画像生成器１２５０では、所定の動き検出法により検
出された動き情報に基づいて、該フレームメモリ部１２
４０に格納された形状情報から動き補償により対象ブロ
ックに対応する予測ブロックが生成される。また、この
予測画像生成器１２５０では、ブロック化器１２１０の
出力から得られる画像サイズに基づいて、フレームメモ
リブロック１２４０に格納されている再生画像から、参
照されるべき有意な画像データが存在する最近に再生さ
れた１つの再生画像を参照画像として決定する。

【００６９】なお、この参照画像の決定は、形状検出器
１２８０が設けられている場合には、その出力である形
状検出出力，つまり通常参照されるべき再生画像のサイ
ズがゼロであるかどうかの情報により、フレームメモリ
部１２４０を制御することにより行うことも可能であ
る。また、この場合、上記再生ブロックは形状検出器１
２８０に入力され、ここで形状検出が行われる。例え
ば、形状信号が２値信号である場合には、形状データと
しての白データ及び黒データのうちの黒データしかない
場合には、再生形状はなにもないこととなる。このと
き、このブロックの形状信号に対応するテクスチャー信
号も存在しないこととなる。この場合には、上述したよ
うに、形状検出器１２８０からは、符号化データなしを
示すフラグあるいは画像サイズゼロのデータが形状検出
出力として、上記各フレームメモリ部１１４０，１２４
０及び上記可変長符号化器１０１０に出力される。各フ
レームメモリ部１１４０，１２４０では、上記形状検出
出力により、上記実施の形態１における制御器３２０に
よるフレームメモリ３０９の制御と同様の制御が行われ
る。

【００７０】このように本実施の形態７では、各符号化
部１１００及び１２００にて、ブロック化器１１１０，
１２１０の出力から得られる画像サイズに基づいて、フ
レームメモリブロック１１４０，１２１０に格納されて
いる再生画像から、参照されるべき有意な画像データが
存在する最近に再生された１つの再生画像を参照画像と
して決定するので、画像を構成する物体を、物体単位で
別々に圧縮符号化して伝送する場合に、画像サイズが変
化し、画像がきえてしまうような画像を、画像の予測符
号化において参照画像として用いてしまうということが
なくなり、適正な予測符号化を行うことができるという
効果が得られる。また、この実施の形態７の画像予測符
号化装置により予測符号化された符号化データは、実施
の形態２の画像予測復号化装置により正しく復号化する
ことができる。

【００７１】また、形状検出器１２８０を有する場合に
は、形状符号化部１２００にて、入力された対象ブロッ
クに対応する参照画像が存在するか否かの判定を、形状
信号の再生ブロックの形状を検出することにより行い、
再生ブロックの形状がないときには、テクスチャー符号
化部及び形状符号化部では、対象ブロックに対応する再
生ブロックに代えて、最近に再生された形状を有する再
生ブロックを用いて予測ブロックを生成するので、画像
を構成する物体を、物体単位で別々に圧縮符号化して伝
送する場合に、画像サイズが変化し、画像がきえてしま
うような画像を、画像の予測符号化において参照画像と
して用いてしまうということがなくなり、残差信号（差
分信号）を抑圧できる適正な予測符号化を行うことがで
きるという効果が得られる。この場合には、実施の形態
７の画像予測符号化装置により予測符号化された符号化
データは、実施の形態２の画像予測復号化装置により正
しく復号化することができる。つまり、該画像予測復号
化装置では、データ解析器３０２が上記形状検出出力に
基づいてフレームメモリブロック３０９を制御すること
となり、これにより、物体単位で予測符号化された符号
化データを復号する際、画像サイズが変化し、画像がき
えてしまうような画像を、画像の予測復号化において参
照画像として用いてしまうということがなくなり、適正
な予測復号化を行うことができる。

【００７２】なお、上記実施の形態７では、予測画像生
成器１１５０，１２５０による参照画像としての再生画
像の選択、あるいは形状検出出力によるフレームメモリ
部１１４０及び１２４０の制御は、上記実施の形態１に
おける予測画像生成器１１５０，１２５０による参照画
像としての再生画像の選択、あるいは制御器３２０によ
るフレームメモリ部３０９の制御と全く同様に行われる
場合について示したが、これに限るものではない。

【００７３】例えば、対象フレームの直前のフレームに
参照されるべき画像データが存在しない場合には、実施
の形態３のように、予測画像として、所定の値を有する
予測画像を生成するものでもよく、この場合は、画像予
測符号化装置に対応する画像予測復号化装置として、上
記実施の形態３の画像予測復号化処理を行う装置を用い
ることができる。

【００７４】また、上記実施の形態７における予測処理
は、実施の形態５のように、双方向予測処理でもよく、
この場合は、画像予測符号化装置に対応する画像予測復
号化装置として、上記実施の形態５の画像予測復号化処
理を行う装置を用いることができる。

【００７５】（実施の形態８）図１３は本発明の実施の
形態８による画像予測符号化装置のブロック図を示す。
この画像予測復号化装置１０００ａは、輝度信号及び色
差信号からなるテクスチャー信号に対する予測符号化を
行うテクスチャー符号化部１１００ａと、形状信号に対
する予測符号化を行う形状符号化部１２００ａとを有し
ている。

【００７６】ここで、上記テクスチャー符号化部１１０
０ａは、上記実施の形態７のテクスチャー符号化部１１
００の構成に加えて、ブロック化器１１１０の前段に、
テクスチャー信号を制御信号によりブロック化器１１１
０と接地との間で切り替えてその一方に供給する切替ス
イッチ１１９０を有する構成となっている。

【００７７】また、上記形状符号化部１２００ａは、上
記実施の形態７の形状符号化部１２００における形状検
出器１２８０は有しておらず、ブロック化器１２１０の
前段に、形状信号を制御信号によりブロック化器１２１
０と接地との間で切り替えてその一方に供給する切替ス
イッチ１２９０を有している点で、上記実施の形態７の
ものと異なっている。

【００７８】また、上記画像予測復号化装置１０００ａ
は、形状信号を受け、その形状検出出力を上記制御信号
として各切替スイッチ１１９０，１２９０に出力する形
状検出器１０２０を有している。ここで、上記各切替ス
イッチは、形状検出器１０２０での形状検出の結果、入
力される形状信号が形状を有しないものであるときに
は、その形状検出出力により、入力されるテクスチャー
信号及び形状信号が接地側に入力され、一方対入力され
る形状信号が形状を有するものであるときには、テクス
チャー信号及び形状信号が各ブロック化器１１１０，１
２１０に入力されるようこれらの信号の切替を行うよう
になっている。なお、上記形状検出出力は、可変長符号
化器１０１０にて、各符号化部１１００ａ，１２００ａ
からの符号化データとともに可変長符号化処理が施され
るようになっている。

【００７９】次にこの実施の形態８の画像予測復号化装
置の動作について簡単に説明する。このような構成の実
施の形態８の画像予測復号化装置１０００ａでは、上記
形状検出器１０２０による切替スイッチの制御以外は、
上記実施の形態７と同様な予測復号化動作が行われる。

【００８０】つまり、この画像予測復号化装置１０００
ａでは、テクスチャー信号及び形状信号が入力される
と、形状検出器１０２０にて、入力される形状信号が形
状を有するものであるか否かの検出が行われる。この検
出の結果、形状信号が形状を有しないものであるときに
は、上記形状検出器１０２０の出力により切替スイッチ
１１９０及び１２９０が制御され、入力されるテクスチ
ャー信号及び形状信号が接地側に供給される。つまりこ
のときには、形状信号及びテクスチャー信号に対する予
測符号化処理は行われず、形状検出出力が可変長符号化
器１０１０に供給される。

【００８１】一方、上記検出の結果、入力される形状信
号が形状を有するものであるときには、上記形状検出器
１０２０の出力により切替スイッチ１１９０及び１２９
０が制御され、テクスチャー信号及び形状信号が各ブロ
ック化器１１１０，１２１０に入力され、それぞれ予測
符号化処理が施される。そして、各符号化部１１００ａ
及び１２００ａの出力とともに上記形状検出出力が可変
長符号化器１０１０に出力される。

【００８２】このように本実施の形態８では、入力され
た形状信号が形状を有するものであるか否かを判定する
形状検出器１０２０を備え、形状信号が形状を有するも
のである場合には、テクスチャー信号及び形状信号に対
する予測符号化を行い、形状信号が形状を有するもので
ない場合には、テクスチャー信号及び形状信号に対する
予測符号化を行わないようにしたので、画像を構成する
物体を、物体単位で別々に圧縮符号化して伝送する場合
に、画像サイズが変化し、画像がきえてしまうような画
像を、画像の予測符号化において参照画像として用いて
しまうということがなくなり、残差信号（差分信号）を
抑圧できる適正な予測符号化を行うことができる。

【００８３】また、上記形状検出器での検出出力を符号
化して伝送するようにしたので、画像予測復号化装置で
は、この検出出力を同期信号して用いて、つまり、画像
サイズが小さくなって画像が消えている間は、この画像
に対応する符号化データの再生を停止するようにして、
画像サイズが変化し、画像がきえてしまうような画像に
対する予測復号化処理を適正に行うことができる。

【００８４】さらに、上記各実施の形態で示した画像予
測復号化方法あるいは装置，及び画像予測符号化方法あ
るいは装置の構成を実現するためのプログラムを、フロ
ッピーディスク等のデータ記録媒体に記録するようにす
ることにより、上記各実施の形態で示した処理を、独立
したコンピュータシステムにおいて簡単に実施すること
が可能となる。

【００８５】図１４は、上記各実施の形態における予測
復号化処理あるいは予測符号化処理を、これらの信号処
理に対応したプログラムを格納したフロッピーディスク
を用いて、コンピュータシステムにより実施する場合を
説明するための図である。図１４(a) は、フロッピーデ
ィスクＦＤの正面からみた外観、断面構造、及び記録媒
体であるフロッピーディスク本体を示し、図１４(b)
は、フロッピーディスク本体Ｄの物理フォーマットの例
を示している。フロッピーディスク本体ＤはケースＦＣ
内に内蔵され、該ディスク本体Ｄの表面には、同心円状
に外周から内周に向かって複数のトラックＴｒが形成さ
れ、各トラックは角度方向に１６のセクタＳｅに分割さ
れている。従って、上記プログラムを格納したフロッピ
ーディスク本体Ｄでは、上記フロッピーディスク本体Ｄ
上に割り当てられた領域に、上記プログラムとしてのデ
ータが記録されている。

【００８６】また、図１４(c) は、フロッピーディスク
ＦＤに対する上記プログラムの記録再生を行うための構
成を示す。上記プログラムをフロッピーディスクＦＤに
記録する場合は、コンピュータシステムＣｓから上記プ
ログラムとしてのデータをフロッピーディスクドライブ
ＦDDを介してフロッピディスクＦＤに書き込む。また、
フロッピーディスクＦＤ内のプログラムにより、上記画
像伝送方法あるいは画像復号化装置をコンピュータシス
テムＣｓ中に構築する場合は、フロッピーディスクドラ
イブＦDDによりプログラムをフロッピーディスクＦＤか
ら読み出し、コンピュータシステムＣｓに転送する。

【００８７】なお、上記説明では、データ記録媒体とし
て、上記各実施の形態における予測復号化処理あるいは
予測符号化処理を行うためのプログラムを格納したもの
を挙げたが、データ記録媒体としては、上記各実施の形
態における画像の符号化データを格納したものも挙げら
れる。

【００８８】また、上記説明では、データ記録媒体とし
てフロッピーディスクを用いたコンピュータシステムに
よる画像処理の説明を行ったが、この画像処理は、光デ
ィスクを用いても同様に行うことができる。また、記録
媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、
プログラムを記録できるものであれば同様に上記画像処
理を実施することができる。

【００８９】

【発明の効果】以上のように本発明（請求項１および請
求項３）にかかる画像予測復号化方法及び装置によれ
ば、再生対象の画像よりも先に復号化された、前方参照
画像に対する第１の符号化データと後方参照画像に対す
る第２の符号化データのそれぞれが、画像符号化データ
を含んでいるかどうかを判断し、前記第１の符号化デー
タが画像符号化データを含んでいる場合にのみ、前記第
１の符号化データを復号化して得られた画像を前方参照
画像として選択し、前記第２の符号化データが画像符号
化データを含んでいる場合にのみ、前記第２の符号化デ
ータを復号化して得られた画像を後方参照画像として選
択し、選択した前方参照画像と後方参照画像の少なくと
も一方を参照して予測画像を生成し、生成した予測画像
を、復号化した画像に加えて再生画像を生成するので、
圧縮効率の向上のため、画像を構成する物体の画像デー
タを、物体単位で、別々に圧縮符号化して伝送する場合
に、画像サイズが変化し、画像が消えてしまうような画
像を、画像データの復号化の際に参照画像として用いて
しまうということがなくなり、適正な復号化処理を行う
ことができ、したがって符号量を抑圧した効率のよい圧
縮符号化処理に対応した復号化処理を行うことができる
という顕著な効果が得られる。

【００９０】本発明（請求項２および４）によれば、請
求項１および３記載の画像予測復号化方法および装置に
おいて、復号化された前記第１および第２の符号化デー
タが画像符号化データを含むかどうかの判断を、符号化
データに付けられたフラグであって、符号化データが画
像符号化データを含むかどうかを表わすフラグに基づい
て実行するので、上記の効果に加えて、参照画像を決定
する演算を、簡易に行うことができる効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像予測復号化方
法における予測画像生成方法を示す流れ図。

【図２】本発明による，画像予測復号化における画像予
測の構造を示す模式図。

【図３】本発明の実施の形態１における画像予測復号化
装置を示すブロック図。

【図４】本発明の実施の形態１における画像予測復号化
装置に用いるフレームメモリを示すブロック図。

【図５】本発明の実施の形態３による画像予測復号化方
法における予測画像生成方法を示す流れ図。

【図６】本発明の実施の形態４による画像予測復号化方
法における予測画像生成方法を示す流れ図。

【図７】本発明の実施の形態１における画像データを示
す図。

【図８】本発明の実施の形態２による画像予測復号化方
法における予測画像生成方法を示す流れ図。

【図９】本発明の実施の形態２における画像データを示
す図。

【図１０】本発明の実施の形態５による画像予測復号化
方法における予測画像生成方法を示す流れ図。

【図１１】本発明の実施の形態６における画像予測復号
化方法における予測画像生成方法を示す流れ図。

【図１２】本発明の実施の形態７による画像予測符号化
装置を示すブロック図。

【図１３】本発明の実施の形態８による画像予測符号化
装置を示すブロック図。

【図１４】図１４(a) 〜図１４(c) は、本発明の各実施
の形態における符号化データを格納した、あるいは画像
予測復号化方法，画像予測復号化装置，画像予測符号化
方法，または画像予測符号化装置による画像処理をコン
ピュータにより実現するためのプログラムを格納するた
めのデータ記録媒体を説明するための図。

【符号の説明】

３０１，１００１，１００２ 入力端子 ３０２ データ解析器 ３０３，１１３０，１２３０ 復号化器 ３０４，１１３１ 逆量子化器 ３０５，１１３２ 逆離散コサイン変換器（ＩＤＣＴ） ３０６，１１７０，１２７０ 加算器 ３０７ 出力端子 ３０９，１１４０，１２４０ フレームメモリ部 ３１０，１１５０，１２５０ 予測画像生成器 ３２０ 制御器 ４０６ フレームメモリバンク ４０１〜４０３ フレームメモリ ４０４，４０５ スイッチ ４０７，４０８ ライン １０００，１０００ａ 画像予測符号化装置 １００３ 出力端子 １０１０ 可変長符号化器 １０２０，１２８０ 形状検出器 １１００，１１００ａ テクスチャー符号化部 １２００，１２００ａ 形状符号化部 １１１０，１２１０ ブロック化器 １１２０，１２２０ 符号化器 １１２１ 離散コサイン変換器（ＤＣＴ） １１２２ 量子化器 １１６０，１２６０ 減算器 １１７０，１２７０ 加算器 １１９０，１２９０ 切替スイッチ ＃１（２０１）〜＃１０（２１０） 画像 ＃１（２１１）〜＃９（２２０） 画像 Ｃｓ コンピュータシステム Ｄ フロッピーディスク本体 Ｆ フラグ ＦＣ フロッピーディスクケース ＦＤ フロッピーディスク ＦDD フロッピーディスクドライブ Ｈｍ，Ｖｍ 垂直，水平データサイズ

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 画像サイズ可変な画像を符号化した符号
   化データを復号化し、予測画像を用いて画像を再生する
   画像予測復号化方法であって、 再生対象の画像よりも先に復号化された、前方参照画像
   に対する第１の符号化データと後方参照画像に対する第
   ２の符号化データのそれぞれが、画像符号化データを含
   んでいるかどうかを判断し、 前記第１の符号化データが画像符号化データを含んでい
   る場合にのみ、前記第１の符号化データを復号化して得
   られた画像を前方参照画像として選択し、 前記第２の符号化データが画像符号化データを含んでい
   る場合にのみ、前記第２の符号化データを復号化して得
   られた画像を後方参照画像として選択し、 選択した前方参照画像と後方参照画像の少なくとも一方
   を参照して予測画像を生成し、 生成した予測画像を、復号化した画像に加えて再生画像
   を生成することを特徴とする画像予測復号化方法。
2. 【請求項２】 復号化された前記第１および第２の符号
   化データが画像符号化データを含むかどうかの判断を、
   符号化データに付けられたフラグであって、符号化デー
   タが画像符号化データを含むかどうかを表わすフラグに
   基づいて実行することを特徴とする請求項１に記載の画
   像予測符号化方法。
3. 【請求項３】 画像サイズ可変な画像を符号化した符号
   化データを復号化し、予測画像を用いて画像を再生する
   画像予測復号化装置であって、 符号化データを復号化する復号化手段と、 再生対象の画像よりも先に復号化された、前方参照画像
   に対する第１の符号化データと後方参照画像に対する第
   ２の符号化データのそれぞれが、画像符号化データを含
   んでいるかどうかを判断し、前記第１の符号化データが
   画像符号化データを含んでいる場合にのみ、前記第１の
   符号化データを復号化して得られた画像を前方参照画像
   として予測画像を生成し、前記第２の符号化データが画
   像符号化データを含んでいる場合にのみ、前記第２の符
   号化データを復号化して得られた画像を後方参照画像と
   して予測画像を生成する予測画像生成手段と、 前記予測画像生成手段によって生成された予測画像を、
   前記復号化手段が復号化した画像に加えて再生画像を生
   成する加算手段と、を備えたことを特徴とする画像予測
   復号化装置。
4. 【請求項４】 前記予測画像生成手段は、直前に前記復
   号化手段に入力された符号化データが画像符号化データ
   を含むかどうかの判断を、直前に前記復号化手段に入力
   された符号化データに含まれるフラグに基づいて実行す
   ることを特徴とする請求項３に記載の画像予測符号化装
   置。