JP3776735B2 - 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体 - Google Patents
画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体 Download PDFInfo
- Publication number
- JP3776735B2 JP3776735B2 JP2001048729A JP2001048729A JP3776735B2 JP 3776735 B2 JP3776735 B2 JP 3776735B2 JP 2001048729 A JP2001048729 A JP 2001048729A JP 2001048729 A JP2001048729 A JP 2001048729A JP 3776735 B2 JP3776735 B2 JP 3776735B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoded
- data
- frame
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の予測復号化，符号化処理に関するもので、特に画像サイズが可変な場合における画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体に関するものである。
【０００２】
【従来の技術】
デジタル画像を効率よく蓄積もしくは伝送するには、圧縮符号化する必要がある。デジタル画像を圧縮符号化するための方法として、ＪＰＥＧやＭＰＥＧに代表される離散コサイン変換（ＤＣＴ）のほかに、サブバンドやウェアブレット、フラクタルなどの波形符号化方法がある。また、画像間の冗長な信号を取り除くには、動き補償を用いた画像間予測を行い、差分信号を波形符号化する。
【０００３】
ここでは、動き補償ＤＣＴに基づくＭＰＥＧ方式について説明する。まず、符号化しようとする１フレームの入力画像を、複数の１６×１６画素の大きさのマクロブロックに分割して処理する。一つのマクロブロックを、さらに８×８画素の大きさの４つのブロックに分割し、８×８画素の大きさのブロックに対するＤＣＴを施してから、量子化する。これはフレーム内符号化と呼ばれる。
【０００４】
一方、ブロックマッチングをはじめとする動き検出方法で、量子化しようとする対象マクロブロックを含む当該フレームに対して時間的に隣接する別のフレームの中から、対象マクロブロックに対する誤差の最も小さい予測マクロブロックを検出し、該検出された動きに基づいて、過去の画像からの動き補償を行い、最適な予測ブロックを取得する。誤差の最も小さい予測マクロブロックへの動きを示す信号が動きベクトルである。予測マクロブロックを生成するために参照する画像を、以後、参照画像と呼ぶ。次に対象となるブロックと対応する予測ブロックとの差分を求め、該差分に対してＤＣＴを施し、該ＤＣＴ変換係数を量子化し、該量子化出力を動き情報とともに伝送もしくは蓄積する。これをフレーム間符号化と呼ぶ。
【０００５】
また、このフレーム間符号化には、表示順で前にある画像からのみ予測するモードと、前にある画像と後ろにある画像の両方から予測するモードがある。前者を前方予測、後者を双方向予測と呼ぶ。
【０００６】
受信側では、量子化された変換係数をもとの差分信号に復元した後に、該差分信号をもとに動きベクトルに基づいて予測ブロックを取得し、該予測ブロックと差分信号とを加算し、画像を再生する。なお、この従来の技術では、参照画像（予測画像を生成するために参照する画像）と、対象画像のサイズとが同じであることを前提にしている。
【０００７】
最近、圧縮効率を向上させると同時に、画像を構成する物体単位の再生ができるように、画像を構成する物体を、任意形状の画像として、別々に圧縮符号化して伝送するようにしている。このような任意形状の画像の符号化，復号化では、画像のサイズが変化することがよくある。その一例としては、ボールがだんだん小さくなり，消えてしまう例が考えられる。また、場合によっては、画像（物体）のサイズがゼロになることもある。
【０００８】
【発明が解決しようとする課題】
通常の場合には、参照画像は対象画像の直前にある再生画像である。参照画像のサイズがゼロの場合、参照画像には何も定義されないために、即ち予測符号化に用いる有意な画像データがないために、予測符号化することができなくなる。
【０００９】
この場合にも、従来の技術を適用しようとすると、フレーム内符号化を行うしか方法はない。しかるに、フレーム内符号化を行うと、一般的に符号量が増え、圧縮率が低下してしまう。動画像のシーケンスの中で、画像が頻繁に消えたり（この場合、画像サイズはゼロになる）、現れたりする場合は、符号化効率が非常に悪くなる。たとえば、スポットライトがフラッシングする画像では、ライトが画像単位で消えたり，現れたりすると、すべてのライトの画像を、フレーム内符号化することになる。
【００１０】
本発明は、上記のような問題点に鑑みてなされたもので、サイズ可変な画像に対し、参照画像のサイズがゼロになった場合、あるいは参照画像が完全に透過する場合でも、効率よく予測符号化を行うことのできる，画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体を提供することを目的としている。
【００１１】
【課題を解決するための手段】
本発明に係る画像予測復号化方法は、 フレーム画像を符号化して得られた符号化フレームデータを予測復号化して再生フレーム画像を得る画像予測復号化方法であって、（ i ）フレーム画像を前方予測符号化して得られた符号化フレームデータを復号化する際には、復号化対象である第１のフレーム画像より先に復号化された、前方参照画像として参照され得るフレーム画像の符号化データである第２の符号化フレームデータが、復号化における参照に有意な画像符号化データを含むか否かを、前記第２の符号化フレームデータ内の、該第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第１のフラグで判断し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示す場合には、前記第２の符号化フレームデータよりも前に復号化された符号化フレームデータであって、前記参照に有意な画像符号化データを含む符号化フレームデータを復号化して得られた復号化フレーム画像を、前方参照画像として選択し、選択した前方参照画像を参照して予測画像を生成し、前記生成した予測画像と、前記第１の符号化フレームデータを復号化して得られた復号化フレーム画像とから再生フレーム画像を生成し、（ ii ）フレーム画像を双方向予測符号化して得られた符号化フレームデータを予測復号化する際には、復号化対象である第１のフレーム画像よりも先に復号化された、前方参照画像として参照され得るフレーム画像の符号化データである第２の符号化フレームデータと、前記第１のフレーム画像よりも先に復号化された、後方参照画像として参照され得るフレーム画像の符号化データである第３の符号化フレームデータとのそれぞれが、前記参照に有意な画像符号化データを含むか否かを、前記第２の符号化フレームデータ内の、該第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第１のフラグと、前記第３の符号化フレームデータ内の、該第３の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第２のフラグとで判断し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第３の符号化フレームデータを復号化して得られた復号化フレーム画像を後方参照画像として選択し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択すると共に、前記第３の符号化フレームデータを復号化して得られた復号化フレーム画像を後方参照画像として選択し、選択した前方参照画像と選択した後方参照画像の少なくとも一方を参照して予測画像を生成し、生成した予測画像と、前記第１の符号化フレームデータを復号化して得られた復号化フレーム画像とから再生フレーム画像を生成する、ことを特徴とするものである。
【００１２】
本発明に係る画像予測復号化装置は、フレーム画像を符号化して得られた符号化フレームデータを予測復号化して再生フレーム画像を得る画像予測復号化装置であって、復号化対象のフレーム画像を予測復号化する際に参照され得るフレーム画像の符号化データが、復号化における参照に有意な画像符号化データを含んでいるかどうかを判断する判断手段と、該判断手段での判断結果に基づいて、前記復号化対象のフレーム画像を予測復号化する際に参照する参照画像を選択する選択手段と、選択した参照画像を参照して予測画像を生成する予測画像生成手段と、生成した予測画像を用いて、前記復号化対象のフレーム画像を再生する再生手段とを備え、（ i ）フレーム画像を前方予測符号化して得られた符号化フレームデータを復号化するときには、前記判断手段は、復号化対象である第１のフレーム画像より先に復号化された、前方参照画像として参照され得るフレーム画像の符号化データである第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを、前記第２の符号化フレームデータ内の、該第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第１のフラグで判断し、前記選択手段は、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示す場合には、前記第２の符号化フレームデータよりも前に復号化された符号化フレームデータであって、前記参照に有意な画像符号化データを含む符号化フレームデータを復号化して得られた復号化フレーム画像を、前方参照画像として選択し、前記予測画像生成手段は、選択した前方参照画像を参照して予測画像を生成し、前記再生手段は、生成した予測画像と、前記第１の符号化フレームデータを復号化して得られた復号化フレーム画像とから再生フレーム画像を生成し、（ ii ）フレーム画像を双方向予測符号化して得られた符号化フレームデータを予測復号化するときには、前記判断手段は、復号化対象である第１のフレーム画像よりも先に復号化された、前方参照画像として参照され得るフレーム画像の符号化データである第２の符号化フレームデータと、前記第１のフレーム画像よりも先に復号化された、後方参照画像として参照され得るフレーム画像の符号化データである第３の符号化フレーム画像データとのそれぞれが、前記参照に有意な画像符号化データを含むか否かを、前記第２の符号化フレームデータ内の、該第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第１のフラグと、前記第３の符号化フレームデータ内の、該第３の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第２のフラグとで判断し、前記選択手段は、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示す場合には、前記第２の符号化フレームデータを復号化して得られる復号化フレーム画像を前方参照画像として選択し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第３の符号化フレームデータを復号化して得られた復号化フレーム画像を後方参照画像として選択し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択すると共に、前記第３の符号化フレームデータを復号化して得られた復号化フレーム画像を後方参照画像として選択し、前記予測画像生成手段は、選択した前方参照画像と選択した後方参照画像の少なくとも一方を参照して予測画像を生成し、前記再生手段は、生成した予測画像と、前記第１の符号化フレームデータを復号化して得られた復号化フレーム画像とから再生フレーム画像を生成する、ことを特徴とするものである。
【００３４】
【発明の実態の形態】
以下、本発明の実施の形態について、図１ないし図７を用いて説明する。
（実施の形態１）
図１は本発明の実施の形態１による画像予測復号化方法における，予測画像生成方法の流れ図を示す。図１を説明する前に、図２を用いて、本発明による画像予測復号化における画像予測の方法について説明する。本実施の形態１の画像予測復号化方法において用いる入力画像の画像サイズは、可変であり、場合によっては、サイズがゼロになることもある。
【００３５】
図２(a) は、表示順に並んだ動画像の各画像２０１〜２１０を示す。画像２０１が最初の画面で、その次が、画像２０２, ……と、順に表示される。この順序を＃１〜＃１０で示している。画像＃１（２０１）は、最初の画像であり、フレーム内符号化を行う。本実施の形態１では、画像（１フレーム）を、複数の８×８画素の大きさのブロックに分割し、各８×８画素の大きさのブロックのＤＣＴを施し、量子化する。量子化した係数を、可変長符号化する。復号化する場合は、該可変長符号化により得られた符号化データを可変長復号化し、該復号化により得られた量子化係数を逆量子化してから、逆ＤＣＴ変換することにより、画像を再生する。次に、画像＃２（２０２）を、すでに再生された画像＃１（２０１）を参照して、フレーム間予測符号化する。
【００３６】
本実施の形態１では、ブロックマッチングの動き検出方法で、画像＃１（２０１）の中から対象ブロックに対し誤差の最も小さい予測ブロックを検出する。検出された、対象ブロックから予測ブロックへの動きに基づいて、再生された画像＃１（２０１）から、対象ブロックの動き補償により、最適な予測ブロックを取得する。次に、対象となるブロックと、対応する予測ブロックとの差分を求め、該差分に対しＤＣＴを施し、該ＤＣＴ変換係数を量子化し、該量子化出力を、動き情報とともに、伝送もしくは蓄積する。ここで、再生された画像＃１（２０１）は、画像＃２（２０２）の参照画像となる。これを前方予測と呼ぶ。復号化する際には、逆量子化，及び逆ＤＣＴした差分に予測ブロックを加算し、画像を再生する。
【００３７】
同様に、画像＃３（２０３）と、画像＃４（２０４）とは、矢印が示す参照画像から予測符号化を行う。また、画像＃６（２０６），画像＃８（２０８），画像＃１０（２１０）のように、２枚前の画像から予測することができる。また、画像＃５（２０５），画像＃７（２０７），画像＃９（２０９）のように、前方予測のほかに、当該画像より後に表示される画像をも、参照することができる。
【００３８】
このように当該画像より後に表示される画像を参照して予測を行うのを後方予測と呼ぶ。前方予測と後方予測をともにする場合は、これを双方向予測と呼ぶ。双方向予測では、前方予測モードと，後方予測モードと，前方後方予測を平均化する補間モードとがある。
【００３９】
図２(b) は、図２(a) で予測した画像の伝送順序、すなわち復号化順序を示す。
画像＃１（２１１）が、最初に復号化し、再生される。それを参照し、画像＃２（２１２）を復号化する。画像＃５（２１６）のような，双方向予測画像に対しては、予測に用いる参照画像を、先に復号化し、再生する必要がある。そのために、画像＃６（２１５）は、画像＃５（２１６）より先にある。同様に、画像＃８（２１７）は、画像＃７（２１８）より先に、画像＃１０（２１９）は、画像＃９（２２０）より先に、伝送され、復号化され、再生される。
【００４０】
画像サイズ可変の画像を伝送する場合には、各画像に対して、サイズを伝送しなければならない。本実施の形態１では、画像のサイズを、画像の符号化データの先頭に記述し、水平，垂直のサイズＨｍ，Ｖｍを、夫々２０ビットで表す。図７は、本実施の形態１における画像の符号化データを示し、ここで、この符号化データ（ＶＤ）内には、上記画像サイズのデータを示す水平，垂直のサイズＨｍ，Ｖｍの他に、動きベクトル、量子化幅、及び、ＤＣＴ係数等が含まれる。
【００４１】
次に、図１の流れ図を用いて、本発明の実施の形態１による画像予測復号化方法における，予測画像生成方法について説明する。
予測画像を生成する際には、まず、ステップ１０２で、直前の参照画像のサイズを入力し、ステップ１０３で、参照画像のサイズがゼロかどうかを調べる。
【００４２】
ここで、参照画像は、図２(a) に示す復号化順序において、常に、復号化の対象（符号化する場合は、符号化の対象）となる画像の前にある。該参照画像は、本実施の形態１による画像予測復号化方法においては、直前に再生される画像である。たとえば、図２(b) の画像＃４（２１４）の参照画像は、その直前の画像＃３（２１３）になる。但し、双方向予測で再生する画像は、予測に用いられないために、参照画像としては使わない。したがって、例えば、画像＃８（２１７）の参照画像は、画像＃６（２１５）になる。
【００４３】
上記図１における，ステップ１０３の判定において、参照画像のサイズがゼロでなければ、ステップ１０４に進み、該ステップ１０４で、該直前の参照画像を用いて、予測画像を生成する。一方、上記ステップ１０３の判定において、参照画像のサイズがゼロであれば、ステップ１０５に進み、該ステップ１０５で、画像サイズがゼロでない最近に再生された画像を、参照画像として用いて、予測画像を生成する。ここでの，画像サイズがゼロでない最近に再生された画像の見つけ方については、図２(b) を用いて以下に説明する。
【００４４】
画像＃４（２１４）の予測画像を生成する場合において、画像＃４（２１４）の前の画像＃３（２１３）のサイズが、ゼロであるとし、画像＃２（２１２）のサイズが、ゼロでないとする。この場合、画像＃２（２１２）を参照して、画像＃４（２１４）の予測画像を生成する。同様に、画像＃６（２１５）の予測画像を生成する場合において、画像＃３（２１３）と、画像＃４（２１４）のサイズがゼロであるとすると、画像＃２（２１２）を参照して、予測画像を生成する。
【００４５】
ここで、予測画像の生成方法として、本実施の形態１では、ＭＰＥＧ１と同様に、ブロック単位の動き補償方法を用いる。
【００４６】
図３は、本発明の実施の形態１による画像予測復号化装置のブロック図を示す。
本実施の形態１の画像予測復号化装置３００は、画像サイズ可変な画像を所定の方法で圧縮符号化した画像データを受け、該画像データに対する予測復号化処理を施す構成となっている。
すなわち、この画像予測復号化装置３００は、上記圧縮符号化した画像データを解析して、量子化幅やＤＣＴ係数をライン３１２に、動きベクトルをライン３１８に、画像サイズをライン３２１に出力するデータ解析器３０２と、該データ解析器３０２からの圧縮されたブロックのデータ（圧縮ブロック）を伸長処理により伸長ブロックに変換する復号化器３０３と、伸長ブロックと予測ブロックとを加算して再生ブロックを生成する加算器３０６とを有している。
【００４７】
また、上記画像予測復号化装置３００は、上記再生ブロックを格納するフレームメモリ部３０９と、上記動きベクトルに基づいてフレームメモリへのアクセスのためのアドレスを発生し、フレームメモリ内の画像から該アドレスに対応したブロックを上記予測ブロックとして求める予測画像生成器３１０とを有している。ここでは、この予測画像生成器３１０は、データ解析器３０２からの画像サイズに基づいて、参照されるべき有意な画像データが存在する最近に再生された１つの再生画像を参照画像として決定する動作も行うようになっている。なお、この参照画像の決定は、図３に点線で示すように、データ解析器３０２からの画像サイズに基づいてフレームメモリ部３０９を制御する制御器３２０を設け、該制御器３２０により、参照されるべき有意な画像データが存在する最近に再生された１つの再生画像が参照画像として選択されるようフレームメモリ部３０９を制御する構成としてもよい。
【００４８】
また、ここでは、上記復号化器３０３は、上記データ解析器３０２からの圧縮ブロックに逆量子化処理を施す逆量子化器３０４と、ライン３１３からの該逆量子化器３０４の出力に対して、周波数領域信号を空間領域信号に変換する処理を施す逆離散コサイン変換器（ＩＤＣＴ）３０５とから構成されている。
また、図中３０１及び３０７はそれぞれ、本画像予測復号化装置３００の入力端子及び出力端子である。
【００４９】
以上のように構成された本実施の形態１による画像予測復号化装置について、以下、その動作を述べる。
画像サイズ可変な画像を、所定の方法で圧縮符号化した画像データ（符号化データ）を、入力端子３０１に入力する。本実施の形態１では、ＭＰＥＧ１と同じ動き補償ＤＣＴ方法で圧縮符号化を行っており、上記符号化データには、上述したように、動きベクトル、量子化幅、ＤＣＴ係数、及び、画像サイズのデータ，が含まれる。
【００５０】
次に、データ解析器３０２にて、上記圧縮符号化した画像データを解析し、圧縮されたブロックのデータとして、量子化幅や、ＤＣＴ係数を、ライン３１２を経由して、復号化器３０３に出力する。また、上記データ解析器３０２で解析した動きベクトルを、ライン３１８を経由して、予測画像生成器３１０に送り、同じく上記データ解析器３０２で解析した画像サイズを、ライン３２１を経由して、制御器３２０に出力する。
【００５１】
復号化器３０３では、逆量子化器３０４と、逆離散コサイン変換器（逆ＤＣＴ変換器）３０５により、上記圧縮されたブロックのデータ、即ち圧縮ブロックを伸長し、伸長ブロックに復元する。本実施の形態１では、逆量子化器３０４で、上記圧縮ブロックを逆量子化し、逆離散コサイン変換（ＩＤＣＴ）３０５で周波数領域信号を空間領域信号に変換し、伸長ブロック３１４を得る。予測画像生成器３１０では、ライン３１８を経由して送られた動きベクトルをもとに、フレームメモリ部３０９をアクセスするためのアドレス３２１を生成してこれをフレームメモリ部３０９に入力し、フレームメモリ部３０９に格納された画像の中から予測ブロック３１７を生成し、出力させる。該予測ブロック３１７，即ち３１９と、上記伸長したブロック３１４とを、加算器３０６に入力し、加算することにより、再生ブロック３１５を生成する。そして、該再生ブロック３１５を、出力端子３０７から出力させると同時に、ライン３１６を介して、フレームメモリ部３０９に格納する。なお、ここで、フレーム内符号化を行う場合には、予測ブロックのサンプル値は、すべてゼロになるものである。
【００５２】
上記予測画像生成器３１０の動作は、図１の流れ図を用いて説明したものと同じである。即ち、まず、参照画像のサイズが予測画像生成器３１０に入力され、該予測画像生成器３１０において、参照画像が決定される。なお、この参照画像の決定は、制御器３２０を介して、ライン３２２を経由しての，参照画像のサイズがゼロであるかどうかの情報により、フレームメモリ部３０９を制御することにより行うことも可能である。
【００５３】
図４は、本発明の実施の形態１による画像予測復号化装置におけるフレームメモリ部の一例である，フレームメモリバンク４０６のブロック図を示す。フレームメモリバンク４０６内には、３つのフレームメモリ４０１〜４０３が設けられている。再生された画像は、これらのフレームメモリ４０１〜４０３のうちのいずれかに格納される。また、予測画像を生成する時に、これらのフレームメモリ４０１〜４０３をアクセスする。
【００５４】
本実施の形態１では、切り替えスイッチ４０４と、４０５とを具備している。
【００５５】
スイッチ４０５は、ライン４０８（図３のライン３１６に相当）を介して入力される，再生された画像を、いずれのフレームメモリに格納するかを決めるためのもので、制御器３２０によって制御されて、即ち制御信号３２２に応じて、フレームメモリ４０１〜４０３を、順番に切り替える。すなわち、１番目の再生画像がフレームメモリ４０１に格納されたあとには、２番目の再生画像をフレームメモリ４０２に格納する。以下同様であるが、３番目の再生画像がフレームメモリ４０３に格納されたあとには、フレームメモリ４０１に切り替える。スイッチ４０４は、ライン４０７（図３のライン３１７に相当）を介して、予測画像生成器３１０に接続する。このスイッチ４０４も、制御器３２０によって、即ち制御信号３２２に応じて、所定の順番で切り替えられる。但し、その切り替え順序は、参照画像のサイズによって、変更される。たとえば、所定の順番に従えば、フレームメモリ４０２に接続し、予測画像を生成するところであっても、フレームメモリ４０２の画像サイズがゼロの場合、制御器３２０は一つ前のフレームメモリ４０１（これは、その画像サイズがゼロでないものとする）に接続するように、スイッチ４０４を制御する。このようにして、画像サイズがゼロでない参照画像から、予測画像を生成するようにすることができる。なお、スイッチ４０４は、同時に、複数のフレームメモリに接続してもよい。また、１枚の画像を再生するたびに、フレームメモリをリセットする装置では、再生される画像のサイズがゼロのときにはフレームメモリをリセットしないように、制御器３２０が管理することにより、サイズがゼロでない，最近に再生された画像を、フレームメモリに残すことができる。すなわち、フレームメモリを更新しないようにすることができる。
【００５６】
なお、上記実施の形態１においては、ブロック動き補償離散コサイン変換方式を用いた場合について説明したが、本発明は、それ以外の予測方法（グローバル動き補償、任意格子状ブロック動き補償などを用いた予測方法）においても、適用可能である。また、参照画像として用いられる再生画像が１枚の場合について説明したが、複数枚の参照画像から、予測画像を生成する場合にも、同様に適用することができる。
【００５７】
以上のような、本実施の形態１によれば、入力された直前の参照画像のサイズを検出し、該直前の参照画像のサイズが０でないときは、該直前の参照画像を用いて予測画像を生成し、該直前の参照画像のサイズが０のときは、サイズが０でない最近に再生された画像を用いて、予測画像を生成するようにしたので、圧縮効率の向上のため、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像が消えてしまうような画像を、画像の予測復号化，予測符号化において参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測復号化，予測符号化を行うことができる、という効果が得られる。
【００５８】
（実施の形態２）
なお、上記実施の形態１では、参照画像のサイズが、ゼロかどうかを検出し、この検出した情報を用いて、参照画像を決定するようにした場合について述べたが、画像サイズがゼロであることが、別の指標（例えば、１ビットのフラグＦ，等）で示される場合には、その指標を用いて、制御を行うようにすることもでき、本実施の形態２は、このようにしたものである。
【００５９】
即ち、本実施の形態２においては、対象画像の符号化データは、図９に示すように、画像サイズがゼロであること、即ち対応する参照画像が完全に透過するもので符号化データが存在しないこと，を示す１ビットのフラグＦを、画像データの前の方，すなわち、画像サイズのデータを示す水平，垂直のサイズＨｍ，Ｖｍよりも前の方に設けたもので（ここで、画像サイズがゼロであれば、フラグＦは“０”とする）、このような場合に、予測画像の生成方法を、図８に示すように、このフラグＦを用いて、その制御を行うようにしたものである。
【００６０】
次に、図８の流れ図を用いて、本発明の実施の形態２による画像予測復号化方法における，予測画像生成方法について説明する。
予測画像を生成する際には、まず、ステップ８０２で、直前の参照画像を入力し、ステップ８０３で、該参照画像のフラグＦが“１”かどうかを調べる。ステップ８０３の判定において、該参照画像のフラグＦが“１”であれば、これは、画像サイズがゼロではなく、言い換えれば、参照画像が完全に透過するものでなく、符号化データが存在するものであるので、ステップ８０４で、該直前の参照画像を用いて、予測画像を生成する。
【００６１】
図８における，ステップ８０３の判定において、該参照画像のフラグＦが“１”でなければ、ステップ８０５に進み、該ステップ８０５で、フラグＦが“０”でない最近に再生された画像を、参照画像として用いて、予測画像を生成する。
このような本実施の形態２によれば、上記実施の形態１におけると同様に、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測復号化，予測符号化を行うことができるとともに、対象画像の符号化データが、その先頭に、直前の再生画像に、参照されるべき有意な符号化データが存在するか否かを示すフラグをもつものとし、このフラグを検出して参照画像を決定するようにしたので、参照画像を決定する演算を、簡易に行うことができる効果が得られる。
【００６２】
（実施の形態３）
図５は本発明の実施の形態３による画像予測復号化装置における，予測画像生成方法の流れ図を示す。本実施の形態３における予測画像生成方法は、図１に示す実施の形態１におけるとほとんど同じであり、異なる処理は、図１のステップ１０５に代わる、図５のステップ５０５である。ステップ５０５では、参照画像がゼロのとき、あるいは参照画像が完全に透過するときに、（あるいは画像のフラグＦが“０”であるときに）、予測画像として、所定の値を代入してなるもの，即ち所定の値を有する予測画像を生成する。
【００６３】
本実施の形態３では、これを灰色，即ち輝度信号と色差信号の値がともに１２８，とする。その結果、本実施の形態３では、符号化する時には、符号化の対象となるブロックから、灰色のブロックを引き算し、復号化する時には、復号化の対象となるブロックに、灰色のブロックを加算する。なお、上記所定の値は、可変の値とし、これを符号化部から復号化部に伝送し、これを用いて、予測画像を生成するようにしてもよい。
【００６４】
このような本実施の形態３によれば、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測復号化，予測符号化を行うことができるとともに、参照画像のサイズが０であることを検出したとき、即ち参照画像が完全に透過するときに、予測画像として、所定の値を有する予測画像を生成するようにしたので、上記実施の形態１におけると同様の効果を得ることができ、さらに、予測画像を容易に生成することができる効果が得られる。
【００６５】
（実施の形態４）
図１０は本発明の実施の形態４による画像予測復号化装置における，予測画像生成方法の流れ図を示す。本実施の形態４における予測画像生成方法は、図８に示す実施の形態２におけるとほとんど同じであり、異なる処理は、図８のステップ８０５に代わる、図１０のステップ１００５である。ステップ１００５では、参照画像の画像のフラグＦが“０”であるときに、予測画像として、所定の値を代入してなるもの，即ち所定の値を有する予測画像を生成する。
【００６６】
このような本実施の形態４によれば、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測復号化，予測符号化を行うことができるとともに、対象画像の符号化データが、その先頭に、直前の再生画像に参照されるべき有意な符号化データが存在するか否かを示すフラグをもつものとし、このフラグが“０”であることを検出したときに、予測画像として、所定の値を有する予測画像を生成するようにしたので、上記実施の形態２におけると同様の効果を得ることができ、さらに、予測画像を容易に生成することができる効果が得られる。
【００６７】
（実施の形態５）
図６は、本発明の実施の形態５による双方向予測を用いた、画像予測復号化方法における，予測画像生成方法の流れ図を示す。以下、本実施の形態５の特徴である双方向予測の場合について、参照画像サイズがゼロの場合、即ち参照画像が完全に透過する場合の処理について説明する。
【００６８】
即ち、図６に示されるように、まず、ステップ６０２において、前方，後方の参照画像（両方向の参照画像）のサイズを入力する。図２(a) の画像＃５（２０５）は、双方向予測画像で、前方参照画像は、画像＃４（２０４）であり、後方参照画像は、画像＃６（２０６）である。
【００６９】
そして、ステップ６０３とステップ６０４によって、前方，及び後方の参照画像のサイズがともにゼロの場合、ステップ６０５において、所定の値を代入してなる画像，即ち所定の値を有する画像を、予測画像とする。
ステップ６０３とステップ６０４によって、前方参照画像のサイズがゼロで、後方参照画像のサイズがゼロでない場合、ステップ６０６において、後方参照画像のみを用いて、予測画像を生成する。
【００７０】
次に、ステップ６０３とステップ６０７によって、前方参照画像のサイズがゼロでなくて、後方参照画像のサイズがゼロである場合、ステップ６０８において、前方参照画像のみを用いて、予測画像を生成する。
ステップ６０３とステップ６０７によって、前方後方参照画像のサイズがともにゼロでない場合、ステップ６０９において、両方向の参照画像を用いて、予測画像を生成する。
【００７１】
そして、ステップ６１０で、生成した予測画像を出力し、符号化部では、該予測画像を、対象画像から引き算し、復号化部では、該予測画像を、対象画像の差分に、加算する。このようにして、残差信号（差分信号）を抑圧することができる。
【００７２】
このような本実施の形態５によれば、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合において、両方向参照画像を用いて予測画像を生成する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測復号化，予測符号化を行うことができるとともに、予測画像として、所定の値を有する予測画像を生成するようにしたので、予測画像を容易に生成することができる効果が得られる。
【００７３】
（実施の形態６）
図１１は本発明の実施の形態６による両方向予測を用いた、画像予測復号化方法における，予測画像生成方法の流れ図を示す。以下、本実施の形態６は、上記実施の形態２，４の、上記実施の形態１，３に対する関係と同じである。即ち、本実施の形態６は、図６に示す実施の形態５における、図６のステップ６０３，６０４，６０７における「サイズがゼロか？」を、「のフラグＦが“０”か？」に変更して、それぞれ図１１のステップ１１０３，１１０４，１１０７としたものである。
【００７４】
従って、このような本実施の形態６によれば、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合において、両方向参照画像を用いて予測画像を生成する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測復号化，予測符号化を行うことができるとともに、前方，後方の両参照画像のフラグＦが０であることを検出したときに、所定の値を有する予測画像を生成するようにしたので、画像サイズが変化し、画像が消えてしまうような画像の検出を容易に行うことができ、さらには、予測画像を容易に生成することができる効果が得られる。
以下、さらなる本発明の実施の形態７，８として画像予測符号化装置について説明する。
【００７５】
（実施の形態７）
図１２は本発明の実施の形態７による画像予測符号化装置のブロック図を示す。
この画像予測符号化装置１０００は、輝度信号及び色差信号からなるテクスチャー信号に対する予測符号化を行うテクスチャー符号化部１１００と、形状信号に対する予測符号化を行う形状符号化部１２００とを有している。
【００７６】
上記テクスチャー符号化部１１００は、１フレームのテクスチャー信号を、符号化処理の単位である１６×１６画素の大きさのマクロブロック毎に分割して出力するブロック化器１１１０と、符号化処理の対象となる対象ブロックと、これに対応する予測ブロックとの差分を求める減算器１１６０と、該差分を圧縮符号化する圧縮符号化器１１２０と、該圧縮符号化器１１２０の出力を伸長復号する局所復号化器１１３０とを有している。ここで、上記圧縮符号化器１１２０は、上記差分に対してＤＣＴを施す離散コサイン変換器１１２１と、ＤＣＴ変換係数を量子化する量子化器１１２２とから構成されている。また上記局所復号化器１１３０は、上記量子化器１１２２の出力を逆量子化する逆量子化器１１３１と、該逆量子化器１１３１の出力に対して、周波数領域信号を空間領域信号に変換する逆ＤＣＴを施す逆離散コサイン変換器１１３２とから構成されている。
【００７７】
また、上記テクスチャー符号化部１１００は、上記逆離散コサイン変換器１１３２の出力である伸長ブロックと上記予測ブロックとを加算して再生ブロックを生成する加算器１１７０と、該再生ブロックを格納するフレームメモリ部（ＦＭ１）１１４０と、所定の動き検出法により検出された動き情報に基づいて、該フレームメモリ部１１４０に格納された画像から動き補償により対象ブロックに対応する予測ブロックを取得する予測画像生成器１１５０とを有している。
【００７８】
この予測画像生成器１１５０は、ブロック化器１１１０の出力から得られる画像サイズに基づいて、フレームメモリブロック１１４０に格納されている再生画像から、予測ブロック（予測画像）を生成する際に参照する参照画像を設定する動作をも行うようになっている。
【００７９】
一方、上記形状符号化部１２００は、１フレームの形状信号を、符号化処理の単位である１６×１６画素の大きさのマクロブロック毎に分割して出力するブロック化器１２１０と、符号化処理の対象となる対象ブロックと、これに対応する予測ブロックとの差分を求める減算器１２６０と、該差分を所定の符号化方法により符号化する形状符号化器１２２０と、該形状符号化器１２２０の出力を上記所定の符号化方法に対応する復号化方法により復号する形状復号化器１２３０とを有している。ここで、上記形状符号化器１１２０は、、四分木やチェイン符号化方法等により上記減算器１２６０の出力を符号化する構成となっている。
【００８０】
また、上記形状符号化部１２００は、上記形状復号化器１２３０の出力である復号ブロックと上記予測ブロックとを加算して再生ブロックを生成する加算器１２７０と、該加算器１２７０から出力される復号ブロックを格納するフレームメモリ部（ＦＭ２）１２４０と、所定の動き検出法により検出された動き情報に基づいて、該フレームメモリ部１２４０に格納された形状情報から動き補償により対象ブロックに対応する予測ブロックを取得する予測画像生成器１２５０とを有している。ここでは、該予測画像生成器１２５０は、上記ブロック化器１２１０の出力から得られる画像サイズに基づいて、フレームメモリブロック１２４０に格納されている再生画像から、予測ブロック（予測画像）を生成する際に参照する参照画像を決定する動作をも行うようになっている。
【００８１】
なお、上記各符号化部１１００及び１２００での参照画像の決定は、図１２に点線で示すように、上記再生ブロックに基づいて形状検出を行う形状検出器１２８０を設け、この形状検出器１２８０から出力される形状検出出力により上記各フレームメモリ部（ＦＭ１，ＦＭ２）１１４０，１２４０を制御することにより行うようにしてもよい。この場合における形状検出出力によるフレームメモリ部の制御は、上記実施の形態１における制御器３２０によるフレームメモリ部３０９の制御と全く同様に行われる。また、この場合には、上記形状検出出力は、可変長符号化器１０１０に供給され、テクスチャー信号及び形状信号の符号化データとともに伝送されることとなる。
【００８２】
また、上記画像予測符号化装置１０００は、上記テクスチャー符号化部１１００の出力である符号化テクスチャー信号、上記形状符号化部１２００の出力である符号化形状信号及び形状検出出力を可変長符号化し、多重化して出力する可変長符号化器１０１０を有している。
なお、図中、１００１はテクスチャー信号の入力端子、１００２は形状信号の入力端子、１００３は符号化データの出力端子である。
【００８３】
次に動作について説明する。
この画像予測符号化装置１０００にテクスチャー信号（輝度・色差信号）及び形状信号が入力されると、上記テクスチャー信号及び形状信号はそれぞれ対応する符号化部１１００，１２００おけるブロック器１１１０，１２１０にて符号化処理の単位となるマクロブロックに分割され、各マクロブロック毎に予測符号化処理が行われる。
【００８４】
テクスチャー信号符号化部１１００では、対象ブロックと予測ブロックとの差分が減算器１１６０により求められ、ＤＣＴ器１１２１にてこの差分がＤＣＴ係数に変換され、さらにこのＤＣＴ係数が量子化器１１２２にて量子化係数に変換される。そしてこの量子化係数は可変長符号化器１０１０に出力される。
【００８５】
上記量子化係数は逆量子化器１１３１にてＤＣＴ係数に逆変換され、さらにこのＤＣＴ係数は、ＩＤＣＴ器１１３０での周波数領域のデータを空間領域のデータに変換する処理により、上記対象ブロックに対応する伸長ブロックに変換される。さらにこの伸長ブロックと上記予測ブロックとが加算器１１７０により加算されて再生ブロックが生成される。そしてこの再生ブロックは、フレームメモリ部１１４０に格納される。このとき、上記予測画像生成器１１５０では、所定の動き検出法により検出された動き情報に基づいて、該フレームメモリ部１１４０に格納された画像から動き補償により対象ブロックに対応する予測ブロックが生成する処理が行われている。また、この予測画像生成器１１５０では、ブロック化器１１１０の出力から得られる画像サイズに基づいて、フレームメモリブロック１１４０に格納されている再生画像から、参照されるべき有意な画像データが存在する最近に再生された１つの再生画像を参照画像として決定する。なお、この参照画像の決定は、形状検出器１２８０が設けられている場合には、その出力である形状検出出力，つまり通常参照されるべき再生画像のサイズがゼロであるかどうかの情報により、フレームメモリ部１１４０を制御することにより行うことも可能である。
【００８６】
また、上記テクスチャー符号化部１１００の処理と並行して、形状符号化部１２００では、形状信号に対する予測符号化処理が、上記テクスチャー信号の予測符号化処理とほぼ同様に行われる。つまり、対象ブロックと予測ブロックとの差分が減算器１２６０により求められ、形状符号化器１２２０にてこの差分が四分木やチェイン符号化方法等の方法で符号化されて上記可変長符号化器１０１０に出力される。また上記形状符号化器１２２０からの形状符号化信号は形状復号化器１２３０により復元され、復元ブロックと予測ブロックが加算器１２７０により加算されて再生ブロックが生成される。
【００８７】
この加算器１２７０から出力される再生ブロックはフレームメモリ部１２４０に格納され、上記予測画像生成器１２５０では、所定の動き検出法により検出された動き情報に基づいて、該フレームメモリ部１２４０に格納された形状情報から動き補償により対象ブロックに対応する予測ブロックが生成される。また、この予測画像生成器１２５０では、ブロック化器１２１０の出力から得られる画像サイズに基づいて、フレームメモリブロック１２４０に格納されている再生画像から、参照されるべき有意な画像データが存在する最近に再生された１つの再生画像を参照画像として決定する。
【００８８】
なお、この参照画像の決定は、形状検出器１２８０が設けられている場合には、その出力である形状検出出力，つまり通常参照されるべき再生画像のサイズがゼロであるかどうかの情報により、フレームメモリ部１２４０を制御することにより行うことも可能である。また、この場合、上記再生ブロックは形状検出器１２８０に入力され、ここで形状検出が行われる。例えば、形状信号が２値信号である場合には、形状データとしての白データ及び黒データのうちの黒データしかない場合には、再生形状はなにもないこととなる。このとき、このブロックの形状信号に対応するテクスチャー信号も存在しないこととなる。この場合には、上述したように、形状検出器１２８０からは、符号化データなしを示すフラグあるいは画像サイズゼロのデータが形状検出出力として、上記各フレームメモリ部１１４０，１２４０及び上記可変長符号化器１０１０に出力される。各フレームメモリ部１１４０，１２４０では、上記形状検出出力により、上記実施の形態１における制御器３２０によるフレームメモリ３０９の制御と同様の制御が行われる。
【００８９】
このように本実施の形態７では、各符号化部１１００及び１２００にて、ブロック化器１１１０，１２１０の出力から得られる画像サイズに基づいて、フレームメモリブロック１１４０，１２１０に格納されている再生画像から、参照されるべき有意な画像データが存在する最近に再生された１つの再生画像を参照画像として決定するので、画像を構成する物体を、物体単位で別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像がきえてしまうような画像を、画像の予測符号化において参照画像として用いてしまうということがなくなり、適正な予測符号化を行うことができるという効果が得られる。また、この実施の形態７の画像予測符号化装置により予測符号化された符号化データは、実施の形態２の画像予測復号化装置により正しく復号化することができる。
【００９０】
また、形状検出器１２８０を有する場合には、形状符号化部１２００にて、入力された対象ブロックに対応する参照画像が存在するか否かの判定を、形状信号の再生ブロックの形状を検出することにより行い、再生ブロックの形状がないときには、テクスチャー符号化部及び形状符号化部では、対象ブロックに対応する再生ブロックに代えて、最近に再生された形状を有する再生ブロックを用いて予測ブロックを生成するので、画像を構成する物体を、物体単位で別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像がきえてしまうような画像を、画像の予測符号化において参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測符号化を行うことができるという効果が得られる。この場合には、実施の形態７の画像予測符号化装置により予測符号化された符号化データは、実施の形態２の画像予測復号化装置により正しく復号化することができる。つまり、該画像予測復号化装置では、データ解析器３０２が上記形状検出出力に基づいてフレームメモリブロック３０９を制御することとなり、これにより、物体単位で予測符号化された符号化データを復号する際、画像サイズが変化し、画像がきえてしまうような画像を、画像の予測復号化において参照画像として用いてしまうということがなくなり、適正な予測復号化を行うことができる。
【００９１】
なお、上記実施の形態７では、予測画像生成器１１５０，１２５０による参照画像としての再生画像の選択、あるいは形状検出出力によるフレームメモリ部１１４０及び１２４０の制御は、上記実施の形態１における予測画像生成器１１５０，１２５０による参照画像としての再生画像の選択、あるいは制御器３２０によるフレームメモリ部３０９の制御と全く同様に行われる場合について示したが、これに限るものではない。
【００９２】
例えば、対象フレームの直前のフレームに参照されるべき画像データが存在しない場合には、実施の形態３のように、予測画像として、所定の値を有する予測画像を生成するものでもよく、この場合は、画像予測符号化装置に対応する画像予測復号化装置として、上記実施の形態３の画像予測復号化処理を行う装置を用いることができる。
【００９３】
また、上記実施の形態７における予測処理は、実施の形態５のように、双方向予測処理でもよく、この場合は、画像予測符号化装置に対応する画像予測復号化装置として、上記実施の形態５の画像予測復号化処理を行う装置を用いることができる。
【００９４】
（実施の形態８）
図１３は本発明の実施の形態８による画像予測符号化装置のブロック図を示す。
この画像予測復号化装置１０００ａは、輝度信号及び色差信号からなるテクスチャー信号に対する予測符号化を行うテクスチャー符号化部１１００ａと、形状信号に対する予測符号化を行う形状符号化部１２００ａとを有している。
【００９５】
ここで、上記テクスチャー符号化部１１００ａは、上記実施の形態７のテクスチャー符号化部１１００の構成に加えて、ブロック化器１１１０の前段に、テクスチャー信号を制御信号によりブロック化器１１１０と接地との間で切り替えてその一方に供給する切替スイッチ１１９０を有する構成となっている。
【００９６】
また、上記形状符号化部１２００ａは、上記実施の形態７の形状符号化部１２００における形状検出器１２８０は有しておらず、ブロック化器１２１０の前段に、形状信号を制御信号によりブロック化器１２１０と接地との間で切り替えてその一方に供給する切替スイッチ１２９０を有している点で、上記実施の形態７のものと異なっている。
【００９７】
また、上記画像予測復号化装置１０００ａは、形状信号を受け、その形状検出出力を上記制御信号として各切替スイッチ１１９０，１２９０に出力する形状検出器１０２０を有している。ここで、上記各切替スイッチは、形状検出器１０２０での形状検出の結果、入力される形状信号が形状を有しないものであるときには、その形状検出出力により、入力されるテクスチャー信号及び形状信号が接地側に入力され、一方対入力される形状信号が形状を有するものであるときには、テクスチャー信号及び形状信号が各ブロック化器１１１０，１２１０に入力されるようこれらの信号の切替を行うようになっている。なお、上記形状検出出力は、可変長符号化器１０１０にて、各符号化部１１００ａ，１２００ａからの符号化データとともに可変長符号化処理が施されるようになっている。
【００９８】
次にこの実施の形態８の画像予測復号化装置の動作について簡単に説明する。このような構成の実施の形態８の画像予測復号化装置１０００ａでは、上記形状検出器１０２０による切替スイッチの制御以外は、上記実施の形態７と同様な予測復号化動作が行われる。
【００９９】
つまり、この画像予測復号化装置１０００ａでは、テクスチャー信号及び形状信号が入力されると、形状検出器１０２０にて、入力される形状信号が形状を有するものであるか否かの検出が行われる。この検出の結果、形状信号が形状を有しないものであるときには、上記形状検出器１０２０の出力により切替スイッチ１１９０及び１２９０が制御され、入力されるテクスチャー信号及び形状信号が接地側に供給される。つまりこのときには、形状信号及びテクスチャー信号に対する予測符号化処理は行われず、形状検出出力が可変長符号化器１０１０に供給される。
【０１００】
一方、上記検出の結果、入力される形状信号が形状を有するものであるときには、上記形状検出器１０２０の出力により切替スイッチ１１９０及び１２９０が制御され、テクスチャー信号及び形状信号が各ブロック化器１１１０，１２１０に入力され、それぞれ予測符号化処理が施される。そして、各符号化部１１００ａ及び１２００ａの出力とともに上記形状検出出力が可変長符号化器１０１０に出力される。
【０１０１】
このように本実施の形態８では、入力された形状信号が形状を有するものであるか否かを判定する形状検出器１０２０を備え、形状信号が形状を有するものである場合には、テクスチャー信号及び形状信号に対する予測符号化を行い、形状信号が形状を有するものでない場合には、テクスチャー信号及び形状信号に対する予測符号化を行わないようにしたので、画像を構成する物体を、物体単位で別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像がきえてしまうような画像を、画像の予測符号化において参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測符号化を行うことができる。
【０１０２】
また、上記形状検出器での検出出力を符号化して伝送するようにしたので、画像予測復号化装置では、この検出出力を同期信号して用いて、つまり、画像サイズが小さくなって画像が消えている間は、この画像に対応する符号化データの再生を停止するようにして、画像サイズが変化し、画像がきえてしまうような画像に対する予測復号化処理を適正に行うことができる。
【０１０３】
さらに、上記各実施の形態で示した画像予測復号化方法あるいは装置，及び画像予測符号化方法あるいは装置の構成を実現するためのプログラムを、フロッピーディスク等のデータ記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１０４】
図１４は、上記各実施の形態における予測復号化処理あるいは予測符号化処理を、これらの信号処理に対応したプログラムを格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。
図１４(a) は、フロッピーディスクＦＤの正面からみた外観、断面構造、及び記録媒体であるフロッピーディスク本体を示し、図１４(b) は、フロッピーディスク本体Ｄの物理フォーマットの例を示している。フロッピーディスク本体ＤはケースＦＣ内に内蔵され、該ディスク本体Ｄの表面には、同心円状に外周から内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピーディスク本体Ｄでは、上記フロッピーディスク本体Ｄ上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。
【０１０５】
また、図１４(c) は、フロッピーディスクＦＤに対する上記プログラムの記録再生を行うための構成を示す。上記プログラムをフロッピーディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータをフロッピーディスクドライブＦDDを介してフロッピディスクＦＤに書き込む。また、フロッピーディスクＦＤ内のプログラムにより、上記画像伝送方法あるいは画像復号化装置をコンピュータシステムＣｓ中に構築する場合は、フロッピーディスクドライブＦDDによりプログラムをフロッピーディスクＦＤから読み出し、コンピュータシステムＣｓに転送する。
【０１０６】
なお、上記説明では、データ記録媒体として、上記各実施の形態における予測復号化処理あるいは予測符号化処理を行うためのプログラムを格納したものを挙げたが、データ記録媒体としては、上記各実施の形態における画像の符号化データを格納したものも挙げられる。
【０１０７】
また、上記説明では、データ記録媒体としてフロッピーディスクを用いたコンピュータシステムによる画像処理の説明を行ったが、この画像処理は、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に上記画像処理を実施することができる。
【０１０８】
【発明の効果】
以上のように本発明にかかる画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，及び画像予測符号化装置によれば、参照画像のサイズがゼロのとき、あるいは参照画像が完全に透過するとき、あるいは、参照画像のサイズがゼロであることを示す画像データ中のフラグを検出したときに、画像サイズがゼロでないほかの再生画像を用いて、予測復号化を行うようにしたので、圧縮効率の向上のため、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像が消えてしまうような画像を、画像の復号化，符号化において参照画像として用いてしまうということがなくなり、適正な復号化，符号化を行うことができ、したがって符号量を抑圧し、効率よく、圧縮符号化を行うことができるという顕著な効果が得られる。
【０１０９】
本発明にかかる画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，及び画像予測符号化装置によれば、参照画像のサイズがゼロであるか否か、即ち参照画像が完全に透過するであるか否かを、符号化データが存在するか否かを示す画像データ中のフラグを検出することにより検出するようにしたので、上記の効果に加えて、参照画像を決定する演算を、簡易に行うことができる効果が得られる。
【０１１０】
本発明にかかる画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，及び画像予測符号化装置によれば、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合において、両方向参照画像を用いて予測画像を生成する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、適正な復号化，符号化を行うことができるとともに、予測画像として、所定の値を有する予測画像を生成するようにしたので、予測画像を容易に生成することができる効果が得られる。
【０１１１】
本発明にかかる画像予測符号化装置によれば、入力された形状信号が形状を有するものであるか否かを判定する形状検出器を備え、形状信号が形状を有するものである場合には、テクスチャー信号及び形状信号に対する予測符号化を行い、形状信号が形状を有するものでない場合には、テクスチャー信号及び形状信号に対する予測符号化を行わないようにしたので、画像を構成する物体を、物体単位で別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像がきえてしまうような画像を、画像の予測符号化において参照画像として用いてしまうということがなくなり、適正な予測符号化を行うことができる。
【０１１２】
本発明にかかるデータ記憶媒体によれば、コンピュータに、参照画像のサイズがゼロのとき、あるいは参照画像が完全に透過するとき、あるいは、参照画像のサイズがゼロであることを示す画像データ中のフラグを検出したときに、画像サイズがゼロでないほかの再生画像を用いて、予測復号化を行う予測復号化処理あるいは予測符号化処理を行わせるプログラムを格納したので、上記のような符号量を抑圧し、効率よく、圧縮符号化を行うことができる予測復号化処理あるいは予測符号化処理をソフトウェアにより実現できる。
【０１１３】
本発明にかかるデータ記憶媒体によれば、コンピュータに、参照画像のサイズがゼロであるか否か、即ち参照画像が完全に透過するであるか否かを、符号化データが存在するか否かを示す画像データ中のフラグを検出することにより検出する予測復号化処理あるいは予測符号化処理を行わせるプログラムを格納したので、符号量を抑圧し、効率よく、圧縮符号化を行うことができるという効果に加えて、参照画像を決定する演算を、簡易に行うことができる予測復号化処理あるいは予測符号化処理をソフトウェアにより実現できる。
【０１１４】
本発明にかかるデータ記憶媒体によれば、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合において、両方向参照画像を用いて予測画像を生成する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、適正な復号化，符号化を行うことができるとともに、予測画像として、所定の値を有する予測画像を生成する予測復号化処理あるいは予測符号化処理をコンピュータに行わせるプログラムを格納したので、予測画像を容易に生成することができる予測復号化処理あるいは予測符号化処理をソフトウェアにより実現できる。
【０１１５】
本発明にかかるデータ記憶媒体によれば、入力された形状信号が形状を有するものであるか否かを判定し、形状信号が形状を有するものである場合には、テクスチャー信号及び形状信号に対する予測符号化を行い、形状信号が形状を有するものでない場合には、テクスチャー信号及び形状信号に対する予測符号化を行わない予測符号化処理をコンピュータに行わせるプログラムを格納したので、画像を構成する物体を、物体単位で別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像がきえてしまうような画像を、画像の予測符号化において参照画像として用いてしまうということがなくなり、適正な予測符号化を行うことができる画像予測符号化装置をソフトウェアにより実現できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像予測復号化方法における予測画像生成方法を示す流れ図。
【図２】本発明による，画像予測復号化における画像予測の構造を示す模式図。
【図３】本発明の実施の形態１における画像予測復号化装置を示すブロック図。
【図４】本発明の実施の形態１における画像予測復号化装置に用いるフレームメモリを示すブロック図。
【図５】本発明の実施の形態３による画像予測復号化方法における予測画像生成方法を示す流れ図。
【図６】本発明の実施の形態４による画像予測復号化方法における予測画像生成方法を示す流れ図。
【図７】本発明の実施の形態１における画像データを示す図。
【図８】本発明の実施の形態２による画像予測復号化方法における予測画像生成方法を示す流れ図。
【図９】本発明の実施の形態２における画像データを示す図。
【図１０】本発明の実施の形態５による画像予測復号化方法における予測画像生成方法を示す流れ図。
【図１１】本発明の実施の形態６における画像予測復号化方法における予測画像生成方法を示す流れ図。
【図１２】本発明の実施の形態７による画像予測符号化装置を示すブロック図。
【図１３】本発明の実施の形態８による画像予測符号化装置を示すブロック図。
【図１４】図１４(a) 〜図１４(c) は、本発明の各実施の形態における符号化データを格納した、あるいは画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，または画像予測符号化装置による画像処理をコンピュータにより実現するためのプログラムを格納するためのデータ記録媒体を説明するための図。
【符号の説明】
３０１，１００１，１００２ 入力端子
３０２ データ解析器
３０３，１１３０，１２３０ 復号化器
３０４，１１３１ 逆量子化器
３０５，１１３２ 逆離散コサイン変換器（ＩＤＣＴ）
３０６，１１７０，１２７０ 加算器
３０７ 出力端子
３０９，１１４０，１２４０ フレームメモリ部
３１０，１１５０，１２５０ 予測画像生成器
３２０ 制御器
４０６ フレームメモリバンク
４０１〜４０３ フレームメモリ
４０４，４０５ スイッチ
４０７，４０８ ライン
１０００，１０００ａ 画像予測符号化装置
１００３ 出力端子
１０１０ 可変長符号化器
１０２０，１２８０ 形状検出器
１１００，１１００ａ テクスチャー符号化部
１２００，１２００ａ 形状符号化部
１１１０，１２１０ ブロック化器
１１２０，１２２０ 符号化器
１１２１ 離散コサイン変換器（ＤＣＴ）
１１２２ 量子化器
１１６０，１２６０ 減算器
１１７０，１２７０ 加算器
１１９０，１２９０ 切替スイッチ
＃１（２０１）〜＃１０（２１０） 画像
＃１（２１１）〜＃９（２２０） 画像
Ｃｓ コンピュータシステム
Ｄ フロッピーディスク本体
Ｆ フラグ
ＦＣ フロッピーディスクケース
ＦＤ フロッピーディスク
ＦDD フロッピーディスクドライブ
Ｈｍ，Ｖｍ 垂直，水平データサイズ
【発明の属する技術分野】
本発明は、画像の予測復号化，符号化処理に関するもので、特に画像サイズが可変な場合における画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体に関するものである。
【０００２】
【従来の技術】
デジタル画像を効率よく蓄積もしくは伝送するには、圧縮符号化する必要がある。デジタル画像を圧縮符号化するための方法として、ＪＰＥＧやＭＰＥＧに代表される離散コサイン変換（ＤＣＴ）のほかに、サブバンドやウェアブレット、フラクタルなどの波形符号化方法がある。また、画像間の冗長な信号を取り除くには、動き補償を用いた画像間予測を行い、差分信号を波形符号化する。
【０００３】
ここでは、動き補償ＤＣＴに基づくＭＰＥＧ方式について説明する。まず、符号化しようとする１フレームの入力画像を、複数の１６×１６画素の大きさのマクロブロックに分割して処理する。一つのマクロブロックを、さらに８×８画素の大きさの４つのブロックに分割し、８×８画素の大きさのブロックに対するＤＣＴを施してから、量子化する。これはフレーム内符号化と呼ばれる。
【０００４】
一方、ブロックマッチングをはじめとする動き検出方法で、量子化しようとする対象マクロブロックを含む当該フレームに対して時間的に隣接する別のフレームの中から、対象マクロブロックに対する誤差の最も小さい予測マクロブロックを検出し、該検出された動きに基づいて、過去の画像からの動き補償を行い、最適な予測ブロックを取得する。誤差の最も小さい予測マクロブロックへの動きを示す信号が動きベクトルである。予測マクロブロックを生成するために参照する画像を、以後、参照画像と呼ぶ。次に対象となるブロックと対応する予測ブロックとの差分を求め、該差分に対してＤＣＴを施し、該ＤＣＴ変換係数を量子化し、該量子化出力を動き情報とともに伝送もしくは蓄積する。これをフレーム間符号化と呼ぶ。
【０００５】
また、このフレーム間符号化には、表示順で前にある画像からのみ予測するモードと、前にある画像と後ろにある画像の両方から予測するモードがある。前者を前方予測、後者を双方向予測と呼ぶ。
【０００６】
受信側では、量子化された変換係数をもとの差分信号に復元した後に、該差分信号をもとに動きベクトルに基づいて予測ブロックを取得し、該予測ブロックと差分信号とを加算し、画像を再生する。なお、この従来の技術では、参照画像（予測画像を生成するために参照する画像）と、対象画像のサイズとが同じであることを前提にしている。
【０００７】
最近、圧縮効率を向上させると同時に、画像を構成する物体単位の再生ができるように、画像を構成する物体を、任意形状の画像として、別々に圧縮符号化して伝送するようにしている。このような任意形状の画像の符号化，復号化では、画像のサイズが変化することがよくある。その一例としては、ボールがだんだん小さくなり，消えてしまう例が考えられる。また、場合によっては、画像（物体）のサイズがゼロになることもある。
【０００８】
【発明が解決しようとする課題】
通常の場合には、参照画像は対象画像の直前にある再生画像である。参照画像のサイズがゼロの場合、参照画像には何も定義されないために、即ち予測符号化に用いる有意な画像データがないために、予測符号化することができなくなる。
【０００９】
この場合にも、従来の技術を適用しようとすると、フレーム内符号化を行うしか方法はない。しかるに、フレーム内符号化を行うと、一般的に符号量が増え、圧縮率が低下してしまう。動画像のシーケンスの中で、画像が頻繁に消えたり（この場合、画像サイズはゼロになる）、現れたりする場合は、符号化効率が非常に悪くなる。たとえば、スポットライトがフラッシングする画像では、ライトが画像単位で消えたり，現れたりすると、すべてのライトの画像を、フレーム内符号化することになる。
【００１０】
本発明は、上記のような問題点に鑑みてなされたもので、サイズ可変な画像に対し、参照画像のサイズがゼロになった場合、あるいは参照画像が完全に透過する場合でも、効率よく予測符号化を行うことのできる，画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体を提供することを目的としている。
【００１１】
【課題を解決するための手段】
本発明に係る画像予測復号化方法は、 フレーム画像を符号化して得られた符号化フレームデータを予測復号化して再生フレーム画像を得る画像予測復号化方法であって、（ i ）フレーム画像を前方予測符号化して得られた符号化フレームデータを復号化する際には、復号化対象である第１のフレーム画像より先に復号化された、前方参照画像として参照され得るフレーム画像の符号化データである第２の符号化フレームデータが、復号化における参照に有意な画像符号化データを含むか否かを、前記第２の符号化フレームデータ内の、該第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第１のフラグで判断し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示す場合には、前記第２の符号化フレームデータよりも前に復号化された符号化フレームデータであって、前記参照に有意な画像符号化データを含む符号化フレームデータを復号化して得られた復号化フレーム画像を、前方参照画像として選択し、選択した前方参照画像を参照して予測画像を生成し、前記生成した予測画像と、前記第１の符号化フレームデータを復号化して得られた復号化フレーム画像とから再生フレーム画像を生成し、（ ii ）フレーム画像を双方向予測符号化して得られた符号化フレームデータを予測復号化する際には、復号化対象である第１のフレーム画像よりも先に復号化された、前方参照画像として参照され得るフレーム画像の符号化データである第２の符号化フレームデータと、前記第１のフレーム画像よりも先に復号化された、後方参照画像として参照され得るフレーム画像の符号化データである第３の符号化フレームデータとのそれぞれが、前記参照に有意な画像符号化データを含むか否かを、前記第２の符号化フレームデータ内の、該第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第１のフラグと、前記第３の符号化フレームデータ内の、該第３の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第２のフラグとで判断し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第３の符号化フレームデータを復号化して得られた復号化フレーム画像を後方参照画像として選択し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択すると共に、前記第３の符号化フレームデータを復号化して得られた復号化フレーム画像を後方参照画像として選択し、選択した前方参照画像と選択した後方参照画像の少なくとも一方を参照して予測画像を生成し、生成した予測画像と、前記第１の符号化フレームデータを復号化して得られた復号化フレーム画像とから再生フレーム画像を生成する、ことを特徴とするものである。
【００１２】
本発明に係る画像予測復号化装置は、フレーム画像を符号化して得られた符号化フレームデータを予測復号化して再生フレーム画像を得る画像予測復号化装置であって、復号化対象のフレーム画像を予測復号化する際に参照され得るフレーム画像の符号化データが、復号化における参照に有意な画像符号化データを含んでいるかどうかを判断する判断手段と、該判断手段での判断結果に基づいて、前記復号化対象のフレーム画像を予測復号化する際に参照する参照画像を選択する選択手段と、選択した参照画像を参照して予測画像を生成する予測画像生成手段と、生成した予測画像を用いて、前記復号化対象のフレーム画像を再生する再生手段とを備え、（ i ）フレーム画像を前方予測符号化して得られた符号化フレームデータを復号化するときには、前記判断手段は、復号化対象である第１のフレーム画像より先に復号化された、前方参照画像として参照され得るフレーム画像の符号化データである第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを、前記第２の符号化フレームデータ内の、該第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第１のフラグで判断し、前記選択手段は、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示す場合には、前記第２の符号化フレームデータよりも前に復号化された符号化フレームデータであって、前記参照に有意な画像符号化データを含む符号化フレームデータを復号化して得られた復号化フレーム画像を、前方参照画像として選択し、前記予測画像生成手段は、選択した前方参照画像を参照して予測画像を生成し、前記再生手段は、生成した予測画像と、前記第１の符号化フレームデータを復号化して得られた復号化フレーム画像とから再生フレーム画像を生成し、（ ii ）フレーム画像を双方向予測符号化して得られた符号化フレームデータを予測復号化するときには、前記判断手段は、復号化対象である第１のフレーム画像よりも先に復号化された、前方参照画像として参照され得るフレーム画像の符号化データである第２の符号化フレームデータと、前記第１のフレーム画像よりも先に復号化された、後方参照画像として参照され得るフレーム画像の符号化データである第３の符号化フレーム画像データとのそれぞれが、前記参照に有意な画像符号化データを含むか否かを、前記第２の符号化フレームデータ内の、該第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第１のフラグと、前記第３の符号化フレームデータ内の、該第３の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第２のフラグとで判断し、前記選択手段は、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示す場合には、前記第２の符号化フレームデータを復号化して得られる復号化フレーム画像を前方参照画像として選択し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第３の符号化フレームデータを復号化して得られた復号化フレーム画像を後方参照画像として選択し、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択すると共に、前記第３の符号化フレームデータを復号化して得られた復号化フレーム画像を後方参照画像として選択し、前記予測画像生成手段は、選択した前方参照画像と選択した後方参照画像の少なくとも一方を参照して予測画像を生成し、前記再生手段は、生成した予測画像と、前記第１の符号化フレームデータを復号化して得られた復号化フレーム画像とから再生フレーム画像を生成する、ことを特徴とするものである。
【００３４】
【発明の実態の形態】
以下、本発明の実施の形態について、図１ないし図７を用いて説明する。
（実施の形態１）
図１は本発明の実施の形態１による画像予測復号化方法における，予測画像生成方法の流れ図を示す。図１を説明する前に、図２を用いて、本発明による画像予測復号化における画像予測の方法について説明する。本実施の形態１の画像予測復号化方法において用いる入力画像の画像サイズは、可変であり、場合によっては、サイズがゼロになることもある。
【００３５】
図２(a) は、表示順に並んだ動画像の各画像２０１〜２１０を示す。画像２０１が最初の画面で、その次が、画像２０２, ……と、順に表示される。この順序を＃１〜＃１０で示している。画像＃１（２０１）は、最初の画像であり、フレーム内符号化を行う。本実施の形態１では、画像（１フレーム）を、複数の８×８画素の大きさのブロックに分割し、各８×８画素の大きさのブロックのＤＣＴを施し、量子化する。量子化した係数を、可変長符号化する。復号化する場合は、該可変長符号化により得られた符号化データを可変長復号化し、該復号化により得られた量子化係数を逆量子化してから、逆ＤＣＴ変換することにより、画像を再生する。次に、画像＃２（２０２）を、すでに再生された画像＃１（２０１）を参照して、フレーム間予測符号化する。
【００３６】
本実施の形態１では、ブロックマッチングの動き検出方法で、画像＃１（２０１）の中から対象ブロックに対し誤差の最も小さい予測ブロックを検出する。検出された、対象ブロックから予測ブロックへの動きに基づいて、再生された画像＃１（２０１）から、対象ブロックの動き補償により、最適な予測ブロックを取得する。次に、対象となるブロックと、対応する予測ブロックとの差分を求め、該差分に対しＤＣＴを施し、該ＤＣＴ変換係数を量子化し、該量子化出力を、動き情報とともに、伝送もしくは蓄積する。ここで、再生された画像＃１（２０１）は、画像＃２（２０２）の参照画像となる。これを前方予測と呼ぶ。復号化する際には、逆量子化，及び逆ＤＣＴした差分に予測ブロックを加算し、画像を再生する。
【００３７】
同様に、画像＃３（２０３）と、画像＃４（２０４）とは、矢印が示す参照画像から予測符号化を行う。また、画像＃６（２０６），画像＃８（２０８），画像＃１０（２１０）のように、２枚前の画像から予測することができる。また、画像＃５（２０５），画像＃７（２０７），画像＃９（２０９）のように、前方予測のほかに、当該画像より後に表示される画像をも、参照することができる。
【００３８】
このように当該画像より後に表示される画像を参照して予測を行うのを後方予測と呼ぶ。前方予測と後方予測をともにする場合は、これを双方向予測と呼ぶ。双方向予測では、前方予測モードと，後方予測モードと，前方後方予測を平均化する補間モードとがある。
【００３９】
図２(b) は、図２(a) で予測した画像の伝送順序、すなわち復号化順序を示す。
画像＃１（２１１）が、最初に復号化し、再生される。それを参照し、画像＃２（２１２）を復号化する。画像＃５（２１６）のような，双方向予測画像に対しては、予測に用いる参照画像を、先に復号化し、再生する必要がある。そのために、画像＃６（２１５）は、画像＃５（２１６）より先にある。同様に、画像＃８（２１７）は、画像＃７（２１８）より先に、画像＃１０（２１９）は、画像＃９（２２０）より先に、伝送され、復号化され、再生される。
【００４０】
画像サイズ可変の画像を伝送する場合には、各画像に対して、サイズを伝送しなければならない。本実施の形態１では、画像のサイズを、画像の符号化データの先頭に記述し、水平，垂直のサイズＨｍ，Ｖｍを、夫々２０ビットで表す。図７は、本実施の形態１における画像の符号化データを示し、ここで、この符号化データ（ＶＤ）内には、上記画像サイズのデータを示す水平，垂直のサイズＨｍ，Ｖｍの他に、動きベクトル、量子化幅、及び、ＤＣＴ係数等が含まれる。
【００４１】
次に、図１の流れ図を用いて、本発明の実施の形態１による画像予測復号化方法における，予測画像生成方法について説明する。
予測画像を生成する際には、まず、ステップ１０２で、直前の参照画像のサイズを入力し、ステップ１０３で、参照画像のサイズがゼロかどうかを調べる。
【００４２】
ここで、参照画像は、図２(a) に示す復号化順序において、常に、復号化の対象（符号化する場合は、符号化の対象）となる画像の前にある。該参照画像は、本実施の形態１による画像予測復号化方法においては、直前に再生される画像である。たとえば、図２(b) の画像＃４（２１４）の参照画像は、その直前の画像＃３（２１３）になる。但し、双方向予測で再生する画像は、予測に用いられないために、参照画像としては使わない。したがって、例えば、画像＃８（２１７）の参照画像は、画像＃６（２１５）になる。
【００４３】
上記図１における，ステップ１０３の判定において、参照画像のサイズがゼロでなければ、ステップ１０４に進み、該ステップ１０４で、該直前の参照画像を用いて、予測画像を生成する。一方、上記ステップ１０３の判定において、参照画像のサイズがゼロであれば、ステップ１０５に進み、該ステップ１０５で、画像サイズがゼロでない最近に再生された画像を、参照画像として用いて、予測画像を生成する。ここでの，画像サイズがゼロでない最近に再生された画像の見つけ方については、図２(b) を用いて以下に説明する。
【００４４】
画像＃４（２１４）の予測画像を生成する場合において、画像＃４（２１４）の前の画像＃３（２１３）のサイズが、ゼロであるとし、画像＃２（２１２）のサイズが、ゼロでないとする。この場合、画像＃２（２１２）を参照して、画像＃４（２１４）の予測画像を生成する。同様に、画像＃６（２１５）の予測画像を生成する場合において、画像＃３（２１３）と、画像＃４（２１４）のサイズがゼロであるとすると、画像＃２（２１２）を参照して、予測画像を生成する。
【００４５】
ここで、予測画像の生成方法として、本実施の形態１では、ＭＰＥＧ１と同様に、ブロック単位の動き補償方法を用いる。
【００４６】
図３は、本発明の実施の形態１による画像予測復号化装置のブロック図を示す。
本実施の形態１の画像予測復号化装置３００は、画像サイズ可変な画像を所定の方法で圧縮符号化した画像データを受け、該画像データに対する予測復号化処理を施す構成となっている。
すなわち、この画像予測復号化装置３００は、上記圧縮符号化した画像データを解析して、量子化幅やＤＣＴ係数をライン３１２に、動きベクトルをライン３１８に、画像サイズをライン３２１に出力するデータ解析器３０２と、該データ解析器３０２からの圧縮されたブロックのデータ（圧縮ブロック）を伸長処理により伸長ブロックに変換する復号化器３０３と、伸長ブロックと予測ブロックとを加算して再生ブロックを生成する加算器３０６とを有している。
【００４７】
また、上記画像予測復号化装置３００は、上記再生ブロックを格納するフレームメモリ部３０９と、上記動きベクトルに基づいてフレームメモリへのアクセスのためのアドレスを発生し、フレームメモリ内の画像から該アドレスに対応したブロックを上記予測ブロックとして求める予測画像生成器３１０とを有している。ここでは、この予測画像生成器３１０は、データ解析器３０２からの画像サイズに基づいて、参照されるべき有意な画像データが存在する最近に再生された１つの再生画像を参照画像として決定する動作も行うようになっている。なお、この参照画像の決定は、図３に点線で示すように、データ解析器３０２からの画像サイズに基づいてフレームメモリ部３０９を制御する制御器３２０を設け、該制御器３２０により、参照されるべき有意な画像データが存在する最近に再生された１つの再生画像が参照画像として選択されるようフレームメモリ部３０９を制御する構成としてもよい。
【００４８】
また、ここでは、上記復号化器３０３は、上記データ解析器３０２からの圧縮ブロックに逆量子化処理を施す逆量子化器３０４と、ライン３１３からの該逆量子化器３０４の出力に対して、周波数領域信号を空間領域信号に変換する処理を施す逆離散コサイン変換器（ＩＤＣＴ）３０５とから構成されている。
また、図中３０１及び３０７はそれぞれ、本画像予測復号化装置３００の入力端子及び出力端子である。
【００４９】
以上のように構成された本実施の形態１による画像予測復号化装置について、以下、その動作を述べる。
画像サイズ可変な画像を、所定の方法で圧縮符号化した画像データ（符号化データ）を、入力端子３０１に入力する。本実施の形態１では、ＭＰＥＧ１と同じ動き補償ＤＣＴ方法で圧縮符号化を行っており、上記符号化データには、上述したように、動きベクトル、量子化幅、ＤＣＴ係数、及び、画像サイズのデータ，が含まれる。
【００５０】
次に、データ解析器３０２にて、上記圧縮符号化した画像データを解析し、圧縮されたブロックのデータとして、量子化幅や、ＤＣＴ係数を、ライン３１２を経由して、復号化器３０３に出力する。また、上記データ解析器３０２で解析した動きベクトルを、ライン３１８を経由して、予測画像生成器３１０に送り、同じく上記データ解析器３０２で解析した画像サイズを、ライン３２１を経由して、制御器３２０に出力する。
【００５１】
復号化器３０３では、逆量子化器３０４と、逆離散コサイン変換器（逆ＤＣＴ変換器）３０５により、上記圧縮されたブロックのデータ、即ち圧縮ブロックを伸長し、伸長ブロックに復元する。本実施の形態１では、逆量子化器３０４で、上記圧縮ブロックを逆量子化し、逆離散コサイン変換（ＩＤＣＴ）３０５で周波数領域信号を空間領域信号に変換し、伸長ブロック３１４を得る。予測画像生成器３１０では、ライン３１８を経由して送られた動きベクトルをもとに、フレームメモリ部３０９をアクセスするためのアドレス３２１を生成してこれをフレームメモリ部３０９に入力し、フレームメモリ部３０９に格納された画像の中から予測ブロック３１７を生成し、出力させる。該予測ブロック３１７，即ち３１９と、上記伸長したブロック３１４とを、加算器３０６に入力し、加算することにより、再生ブロック３１５を生成する。そして、該再生ブロック３１５を、出力端子３０７から出力させると同時に、ライン３１６を介して、フレームメモリ部３０９に格納する。なお、ここで、フレーム内符号化を行う場合には、予測ブロックのサンプル値は、すべてゼロになるものである。
【００５２】
上記予測画像生成器３１０の動作は、図１の流れ図を用いて説明したものと同じである。即ち、まず、参照画像のサイズが予測画像生成器３１０に入力され、該予測画像生成器３１０において、参照画像が決定される。なお、この参照画像の決定は、制御器３２０を介して、ライン３２２を経由しての，参照画像のサイズがゼロであるかどうかの情報により、フレームメモリ部３０９を制御することにより行うことも可能である。
【００５３】
図４は、本発明の実施の形態１による画像予測復号化装置におけるフレームメモリ部の一例である，フレームメモリバンク４０６のブロック図を示す。フレームメモリバンク４０６内には、３つのフレームメモリ４０１〜４０３が設けられている。再生された画像は、これらのフレームメモリ４０１〜４０３のうちのいずれかに格納される。また、予測画像を生成する時に、これらのフレームメモリ４０１〜４０３をアクセスする。
【００５４】
本実施の形態１では、切り替えスイッチ４０４と、４０５とを具備している。
【００５５】
スイッチ４０５は、ライン４０８（図３のライン３１６に相当）を介して入力される，再生された画像を、いずれのフレームメモリに格納するかを決めるためのもので、制御器３２０によって制御されて、即ち制御信号３２２に応じて、フレームメモリ４０１〜４０３を、順番に切り替える。すなわち、１番目の再生画像がフレームメモリ４０１に格納されたあとには、２番目の再生画像をフレームメモリ４０２に格納する。以下同様であるが、３番目の再生画像がフレームメモリ４０３に格納されたあとには、フレームメモリ４０１に切り替える。スイッチ４０４は、ライン４０７（図３のライン３１７に相当）を介して、予測画像生成器３１０に接続する。このスイッチ４０４も、制御器３２０によって、即ち制御信号３２２に応じて、所定の順番で切り替えられる。但し、その切り替え順序は、参照画像のサイズによって、変更される。たとえば、所定の順番に従えば、フレームメモリ４０２に接続し、予測画像を生成するところであっても、フレームメモリ４０２の画像サイズがゼロの場合、制御器３２０は一つ前のフレームメモリ４０１（これは、その画像サイズがゼロでないものとする）に接続するように、スイッチ４０４を制御する。このようにして、画像サイズがゼロでない参照画像から、予測画像を生成するようにすることができる。なお、スイッチ４０４は、同時に、複数のフレームメモリに接続してもよい。また、１枚の画像を再生するたびに、フレームメモリをリセットする装置では、再生される画像のサイズがゼロのときにはフレームメモリをリセットしないように、制御器３２０が管理することにより、サイズがゼロでない，最近に再生された画像を、フレームメモリに残すことができる。すなわち、フレームメモリを更新しないようにすることができる。
【００５６】
なお、上記実施の形態１においては、ブロック動き補償離散コサイン変換方式を用いた場合について説明したが、本発明は、それ以外の予測方法（グローバル動き補償、任意格子状ブロック動き補償などを用いた予測方法）においても、適用可能である。また、参照画像として用いられる再生画像が１枚の場合について説明したが、複数枚の参照画像から、予測画像を生成する場合にも、同様に適用することができる。
【００５７】
以上のような、本実施の形態１によれば、入力された直前の参照画像のサイズを検出し、該直前の参照画像のサイズが０でないときは、該直前の参照画像を用いて予測画像を生成し、該直前の参照画像のサイズが０のときは、サイズが０でない最近に再生された画像を用いて、予測画像を生成するようにしたので、圧縮効率の向上のため、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像が消えてしまうような画像を、画像の予測復号化，予測符号化において参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測復号化，予測符号化を行うことができる、という効果が得られる。
【００５８】
（実施の形態２）
なお、上記実施の形態１では、参照画像のサイズが、ゼロかどうかを検出し、この検出した情報を用いて、参照画像を決定するようにした場合について述べたが、画像サイズがゼロであることが、別の指標（例えば、１ビットのフラグＦ，等）で示される場合には、その指標を用いて、制御を行うようにすることもでき、本実施の形態２は、このようにしたものである。
【００５９】
即ち、本実施の形態２においては、対象画像の符号化データは、図９に示すように、画像サイズがゼロであること、即ち対応する参照画像が完全に透過するもので符号化データが存在しないこと，を示す１ビットのフラグＦを、画像データの前の方，すなわち、画像サイズのデータを示す水平，垂直のサイズＨｍ，Ｖｍよりも前の方に設けたもので（ここで、画像サイズがゼロであれば、フラグＦは“０”とする）、このような場合に、予測画像の生成方法を、図８に示すように、このフラグＦを用いて、その制御を行うようにしたものである。
【００６０】
次に、図８の流れ図を用いて、本発明の実施の形態２による画像予測復号化方法における，予測画像生成方法について説明する。
予測画像を生成する際には、まず、ステップ８０２で、直前の参照画像を入力し、ステップ８０３で、該参照画像のフラグＦが“１”かどうかを調べる。ステップ８０３の判定において、該参照画像のフラグＦが“１”であれば、これは、画像サイズがゼロではなく、言い換えれば、参照画像が完全に透過するものでなく、符号化データが存在するものであるので、ステップ８０４で、該直前の参照画像を用いて、予測画像を生成する。
【００６１】
図８における，ステップ８０３の判定において、該参照画像のフラグＦが“１”でなければ、ステップ８０５に進み、該ステップ８０５で、フラグＦが“０”でない最近に再生された画像を、参照画像として用いて、予測画像を生成する。
このような本実施の形態２によれば、上記実施の形態１におけると同様に、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測復号化，予測符号化を行うことができるとともに、対象画像の符号化データが、その先頭に、直前の再生画像に、参照されるべき有意な符号化データが存在するか否かを示すフラグをもつものとし、このフラグを検出して参照画像を決定するようにしたので、参照画像を決定する演算を、簡易に行うことができる効果が得られる。
【００６２】
（実施の形態３）
図５は本発明の実施の形態３による画像予測復号化装置における，予測画像生成方法の流れ図を示す。本実施の形態３における予測画像生成方法は、図１に示す実施の形態１におけるとほとんど同じであり、異なる処理は、図１のステップ１０５に代わる、図５のステップ５０５である。ステップ５０５では、参照画像がゼロのとき、あるいは参照画像が完全に透過するときに、（あるいは画像のフラグＦが“０”であるときに）、予測画像として、所定の値を代入してなるもの，即ち所定の値を有する予測画像を生成する。
【００６３】
本実施の形態３では、これを灰色，即ち輝度信号と色差信号の値がともに１２８，とする。その結果、本実施の形態３では、符号化する時には、符号化の対象となるブロックから、灰色のブロックを引き算し、復号化する時には、復号化の対象となるブロックに、灰色のブロックを加算する。なお、上記所定の値は、可変の値とし、これを符号化部から復号化部に伝送し、これを用いて、予測画像を生成するようにしてもよい。
【００６４】
このような本実施の形態３によれば、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測復号化，予測符号化を行うことができるとともに、参照画像のサイズが０であることを検出したとき、即ち参照画像が完全に透過するときに、予測画像として、所定の値を有する予測画像を生成するようにしたので、上記実施の形態１におけると同様の効果を得ることができ、さらに、予測画像を容易に生成することができる効果が得られる。
【００６５】
（実施の形態４）
図１０は本発明の実施の形態４による画像予測復号化装置における，予測画像生成方法の流れ図を示す。本実施の形態４における予測画像生成方法は、図８に示す実施の形態２におけるとほとんど同じであり、異なる処理は、図８のステップ８０５に代わる、図１０のステップ１００５である。ステップ１００５では、参照画像の画像のフラグＦが“０”であるときに、予測画像として、所定の値を代入してなるもの，即ち所定の値を有する予測画像を生成する。
【００６６】
このような本実施の形態４によれば、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測復号化，予測符号化を行うことができるとともに、対象画像の符号化データが、その先頭に、直前の再生画像に参照されるべき有意な符号化データが存在するか否かを示すフラグをもつものとし、このフラグが“０”であることを検出したときに、予測画像として、所定の値を有する予測画像を生成するようにしたので、上記実施の形態２におけると同様の効果を得ることができ、さらに、予測画像を容易に生成することができる効果が得られる。
【００６７】
（実施の形態５）
図６は、本発明の実施の形態５による双方向予測を用いた、画像予測復号化方法における，予測画像生成方法の流れ図を示す。以下、本実施の形態５の特徴である双方向予測の場合について、参照画像サイズがゼロの場合、即ち参照画像が完全に透過する場合の処理について説明する。
【００６８】
即ち、図６に示されるように、まず、ステップ６０２において、前方，後方の参照画像（両方向の参照画像）のサイズを入力する。図２(a) の画像＃５（２０５）は、双方向予測画像で、前方参照画像は、画像＃４（２０４）であり、後方参照画像は、画像＃６（２０６）である。
【００６９】
そして、ステップ６０３とステップ６０４によって、前方，及び後方の参照画像のサイズがともにゼロの場合、ステップ６０５において、所定の値を代入してなる画像，即ち所定の値を有する画像を、予測画像とする。
ステップ６０３とステップ６０４によって、前方参照画像のサイズがゼロで、後方参照画像のサイズがゼロでない場合、ステップ６０６において、後方参照画像のみを用いて、予測画像を生成する。
【００７０】
次に、ステップ６０３とステップ６０７によって、前方参照画像のサイズがゼロでなくて、後方参照画像のサイズがゼロである場合、ステップ６０８において、前方参照画像のみを用いて、予測画像を生成する。
ステップ６０３とステップ６０７によって、前方後方参照画像のサイズがともにゼロでない場合、ステップ６０９において、両方向の参照画像を用いて、予測画像を生成する。
【００７１】
そして、ステップ６１０で、生成した予測画像を出力し、符号化部では、該予測画像を、対象画像から引き算し、復号化部では、該予測画像を、対象画像の差分に、加算する。このようにして、残差信号（差分信号）を抑圧することができる。
【００７２】
このような本実施の形態５によれば、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合において、両方向参照画像を用いて予測画像を生成する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測復号化，予測符号化を行うことができるとともに、予測画像として、所定の値を有する予測画像を生成するようにしたので、予測画像を容易に生成することができる効果が得られる。
【００７３】
（実施の形態６）
図１１は本発明の実施の形態６による両方向予測を用いた、画像予測復号化方法における，予測画像生成方法の流れ図を示す。以下、本実施の形態６は、上記実施の形態２，４の、上記実施の形態１，３に対する関係と同じである。即ち、本実施の形態６は、図６に示す実施の形態５における、図６のステップ６０３，６０４，６０７における「サイズがゼロか？」を、「のフラグＦが“０”か？」に変更して、それぞれ図１１のステップ１１０３，１１０４，１１０７としたものである。
【００７４】
従って、このような本実施の形態６によれば、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合において、両方向参照画像を用いて予測画像を生成する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測復号化，予測符号化を行うことができるとともに、前方，後方の両参照画像のフラグＦが０であることを検出したときに、所定の値を有する予測画像を生成するようにしたので、画像サイズが変化し、画像が消えてしまうような画像の検出を容易に行うことができ、さらには、予測画像を容易に生成することができる効果が得られる。
以下、さらなる本発明の実施の形態７，８として画像予測符号化装置について説明する。
【００７５】
（実施の形態７）
図１２は本発明の実施の形態７による画像予測符号化装置のブロック図を示す。
この画像予測符号化装置１０００は、輝度信号及び色差信号からなるテクスチャー信号に対する予測符号化を行うテクスチャー符号化部１１００と、形状信号に対する予測符号化を行う形状符号化部１２００とを有している。
【００７６】
上記テクスチャー符号化部１１００は、１フレームのテクスチャー信号を、符号化処理の単位である１６×１６画素の大きさのマクロブロック毎に分割して出力するブロック化器１１１０と、符号化処理の対象となる対象ブロックと、これに対応する予測ブロックとの差分を求める減算器１１６０と、該差分を圧縮符号化する圧縮符号化器１１２０と、該圧縮符号化器１１２０の出力を伸長復号する局所復号化器１１３０とを有している。ここで、上記圧縮符号化器１１２０は、上記差分に対してＤＣＴを施す離散コサイン変換器１１２１と、ＤＣＴ変換係数を量子化する量子化器１１２２とから構成されている。また上記局所復号化器１１３０は、上記量子化器１１２２の出力を逆量子化する逆量子化器１１３１と、該逆量子化器１１３１の出力に対して、周波数領域信号を空間領域信号に変換する逆ＤＣＴを施す逆離散コサイン変換器１１３２とから構成されている。
【００７７】
また、上記テクスチャー符号化部１１００は、上記逆離散コサイン変換器１１３２の出力である伸長ブロックと上記予測ブロックとを加算して再生ブロックを生成する加算器１１７０と、該再生ブロックを格納するフレームメモリ部（ＦＭ１）１１４０と、所定の動き検出法により検出された動き情報に基づいて、該フレームメモリ部１１４０に格納された画像から動き補償により対象ブロックに対応する予測ブロックを取得する予測画像生成器１１５０とを有している。
【００７８】
この予測画像生成器１１５０は、ブロック化器１１１０の出力から得られる画像サイズに基づいて、フレームメモリブロック１１４０に格納されている再生画像から、予測ブロック（予測画像）を生成する際に参照する参照画像を設定する動作をも行うようになっている。
【００７９】
一方、上記形状符号化部１２００は、１フレームの形状信号を、符号化処理の単位である１６×１６画素の大きさのマクロブロック毎に分割して出力するブロック化器１２１０と、符号化処理の対象となる対象ブロックと、これに対応する予測ブロックとの差分を求める減算器１２６０と、該差分を所定の符号化方法により符号化する形状符号化器１２２０と、該形状符号化器１２２０の出力を上記所定の符号化方法に対応する復号化方法により復号する形状復号化器１２３０とを有している。ここで、上記形状符号化器１１２０は、、四分木やチェイン符号化方法等により上記減算器１２６０の出力を符号化する構成となっている。
【００８０】
また、上記形状符号化部１２００は、上記形状復号化器１２３０の出力である復号ブロックと上記予測ブロックとを加算して再生ブロックを生成する加算器１２７０と、該加算器１２７０から出力される復号ブロックを格納するフレームメモリ部（ＦＭ２）１２４０と、所定の動き検出法により検出された動き情報に基づいて、該フレームメモリ部１２４０に格納された形状情報から動き補償により対象ブロックに対応する予測ブロックを取得する予測画像生成器１２５０とを有している。ここでは、該予測画像生成器１２５０は、上記ブロック化器１２１０の出力から得られる画像サイズに基づいて、フレームメモリブロック１２４０に格納されている再生画像から、予測ブロック（予測画像）を生成する際に参照する参照画像を決定する動作をも行うようになっている。
【００８１】
なお、上記各符号化部１１００及び１２００での参照画像の決定は、図１２に点線で示すように、上記再生ブロックに基づいて形状検出を行う形状検出器１２８０を設け、この形状検出器１２８０から出力される形状検出出力により上記各フレームメモリ部（ＦＭ１，ＦＭ２）１１４０，１２４０を制御することにより行うようにしてもよい。この場合における形状検出出力によるフレームメモリ部の制御は、上記実施の形態１における制御器３２０によるフレームメモリ部３０９の制御と全く同様に行われる。また、この場合には、上記形状検出出力は、可変長符号化器１０１０に供給され、テクスチャー信号及び形状信号の符号化データとともに伝送されることとなる。
【００８２】
また、上記画像予測符号化装置１０００は、上記テクスチャー符号化部１１００の出力である符号化テクスチャー信号、上記形状符号化部１２００の出力である符号化形状信号及び形状検出出力を可変長符号化し、多重化して出力する可変長符号化器１０１０を有している。
なお、図中、１００１はテクスチャー信号の入力端子、１００２は形状信号の入力端子、１００３は符号化データの出力端子である。
【００８３】
次に動作について説明する。
この画像予測符号化装置１０００にテクスチャー信号（輝度・色差信号）及び形状信号が入力されると、上記テクスチャー信号及び形状信号はそれぞれ対応する符号化部１１００，１２００おけるブロック器１１１０，１２１０にて符号化処理の単位となるマクロブロックに分割され、各マクロブロック毎に予測符号化処理が行われる。
【００８４】
テクスチャー信号符号化部１１００では、対象ブロックと予測ブロックとの差分が減算器１１６０により求められ、ＤＣＴ器１１２１にてこの差分がＤＣＴ係数に変換され、さらにこのＤＣＴ係数が量子化器１１２２にて量子化係数に変換される。そしてこの量子化係数は可変長符号化器１０１０に出力される。
【００８５】
上記量子化係数は逆量子化器１１３１にてＤＣＴ係数に逆変換され、さらにこのＤＣＴ係数は、ＩＤＣＴ器１１３０での周波数領域のデータを空間領域のデータに変換する処理により、上記対象ブロックに対応する伸長ブロックに変換される。さらにこの伸長ブロックと上記予測ブロックとが加算器１１７０により加算されて再生ブロックが生成される。そしてこの再生ブロックは、フレームメモリ部１１４０に格納される。このとき、上記予測画像生成器１１５０では、所定の動き検出法により検出された動き情報に基づいて、該フレームメモリ部１１４０に格納された画像から動き補償により対象ブロックに対応する予測ブロックが生成する処理が行われている。また、この予測画像生成器１１５０では、ブロック化器１１１０の出力から得られる画像サイズに基づいて、フレームメモリブロック１１４０に格納されている再生画像から、参照されるべき有意な画像データが存在する最近に再生された１つの再生画像を参照画像として決定する。なお、この参照画像の決定は、形状検出器１２８０が設けられている場合には、その出力である形状検出出力，つまり通常参照されるべき再生画像のサイズがゼロであるかどうかの情報により、フレームメモリ部１１４０を制御することにより行うことも可能である。
【００８６】
また、上記テクスチャー符号化部１１００の処理と並行して、形状符号化部１２００では、形状信号に対する予測符号化処理が、上記テクスチャー信号の予測符号化処理とほぼ同様に行われる。つまり、対象ブロックと予測ブロックとの差分が減算器１２６０により求められ、形状符号化器１２２０にてこの差分が四分木やチェイン符号化方法等の方法で符号化されて上記可変長符号化器１０１０に出力される。また上記形状符号化器１２２０からの形状符号化信号は形状復号化器１２３０により復元され、復元ブロックと予測ブロックが加算器１２７０により加算されて再生ブロックが生成される。
【００８７】
この加算器１２７０から出力される再生ブロックはフレームメモリ部１２４０に格納され、上記予測画像生成器１２５０では、所定の動き検出法により検出された動き情報に基づいて、該フレームメモリ部１２４０に格納された形状情報から動き補償により対象ブロックに対応する予測ブロックが生成される。また、この予測画像生成器１２５０では、ブロック化器１２１０の出力から得られる画像サイズに基づいて、フレームメモリブロック１２４０に格納されている再生画像から、参照されるべき有意な画像データが存在する最近に再生された１つの再生画像を参照画像として決定する。
【００８８】
なお、この参照画像の決定は、形状検出器１２８０が設けられている場合には、その出力である形状検出出力，つまり通常参照されるべき再生画像のサイズがゼロであるかどうかの情報により、フレームメモリ部１２４０を制御することにより行うことも可能である。また、この場合、上記再生ブロックは形状検出器１２８０に入力され、ここで形状検出が行われる。例えば、形状信号が２値信号である場合には、形状データとしての白データ及び黒データのうちの黒データしかない場合には、再生形状はなにもないこととなる。このとき、このブロックの形状信号に対応するテクスチャー信号も存在しないこととなる。この場合には、上述したように、形状検出器１２８０からは、符号化データなしを示すフラグあるいは画像サイズゼロのデータが形状検出出力として、上記各フレームメモリ部１１４０，１２４０及び上記可変長符号化器１０１０に出力される。各フレームメモリ部１１４０，１２４０では、上記形状検出出力により、上記実施の形態１における制御器３２０によるフレームメモリ３０９の制御と同様の制御が行われる。
【００８９】
このように本実施の形態７では、各符号化部１１００及び１２００にて、ブロック化器１１１０，１２１０の出力から得られる画像サイズに基づいて、フレームメモリブロック１１４０，１２１０に格納されている再生画像から、参照されるべき有意な画像データが存在する最近に再生された１つの再生画像を参照画像として決定するので、画像を構成する物体を、物体単位で別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像がきえてしまうような画像を、画像の予測符号化において参照画像として用いてしまうということがなくなり、適正な予測符号化を行うことができるという効果が得られる。また、この実施の形態７の画像予測符号化装置により予測符号化された符号化データは、実施の形態２の画像予測復号化装置により正しく復号化することができる。
【００９０】
また、形状検出器１２８０を有する場合には、形状符号化部１２００にて、入力された対象ブロックに対応する参照画像が存在するか否かの判定を、形状信号の再生ブロックの形状を検出することにより行い、再生ブロックの形状がないときには、テクスチャー符号化部及び形状符号化部では、対象ブロックに対応する再生ブロックに代えて、最近に再生された形状を有する再生ブロックを用いて予測ブロックを生成するので、画像を構成する物体を、物体単位で別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像がきえてしまうような画像を、画像の予測符号化において参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測符号化を行うことができるという効果が得られる。この場合には、実施の形態７の画像予測符号化装置により予測符号化された符号化データは、実施の形態２の画像予測復号化装置により正しく復号化することができる。つまり、該画像予測復号化装置では、データ解析器３０２が上記形状検出出力に基づいてフレームメモリブロック３０９を制御することとなり、これにより、物体単位で予測符号化された符号化データを復号する際、画像サイズが変化し、画像がきえてしまうような画像を、画像の予測復号化において参照画像として用いてしまうということがなくなり、適正な予測復号化を行うことができる。
【００９１】
なお、上記実施の形態７では、予測画像生成器１１５０，１２５０による参照画像としての再生画像の選択、あるいは形状検出出力によるフレームメモリ部１１４０及び１２４０の制御は、上記実施の形態１における予測画像生成器１１５０，１２５０による参照画像としての再生画像の選択、あるいは制御器３２０によるフレームメモリ部３０９の制御と全く同様に行われる場合について示したが、これに限るものではない。
【００９２】
例えば、対象フレームの直前のフレームに参照されるべき画像データが存在しない場合には、実施の形態３のように、予測画像として、所定の値を有する予測画像を生成するものでもよく、この場合は、画像予測符号化装置に対応する画像予測復号化装置として、上記実施の形態３の画像予測復号化処理を行う装置を用いることができる。
【００９３】
また、上記実施の形態７における予測処理は、実施の形態５のように、双方向予測処理でもよく、この場合は、画像予測符号化装置に対応する画像予測復号化装置として、上記実施の形態５の画像予測復号化処理を行う装置を用いることができる。
【００９４】
（実施の形態８）
図１３は本発明の実施の形態８による画像予測符号化装置のブロック図を示す。
この画像予測復号化装置１０００ａは、輝度信号及び色差信号からなるテクスチャー信号に対する予測符号化を行うテクスチャー符号化部１１００ａと、形状信号に対する予測符号化を行う形状符号化部１２００ａとを有している。
【００９５】
ここで、上記テクスチャー符号化部１１００ａは、上記実施の形態７のテクスチャー符号化部１１００の構成に加えて、ブロック化器１１１０の前段に、テクスチャー信号を制御信号によりブロック化器１１１０と接地との間で切り替えてその一方に供給する切替スイッチ１１９０を有する構成となっている。
【００９６】
また、上記形状符号化部１２００ａは、上記実施の形態７の形状符号化部１２００における形状検出器１２８０は有しておらず、ブロック化器１２１０の前段に、形状信号を制御信号によりブロック化器１２１０と接地との間で切り替えてその一方に供給する切替スイッチ１２９０を有している点で、上記実施の形態７のものと異なっている。
【００９７】
また、上記画像予測復号化装置１０００ａは、形状信号を受け、その形状検出出力を上記制御信号として各切替スイッチ１１９０，１２９０に出力する形状検出器１０２０を有している。ここで、上記各切替スイッチは、形状検出器１０２０での形状検出の結果、入力される形状信号が形状を有しないものであるときには、その形状検出出力により、入力されるテクスチャー信号及び形状信号が接地側に入力され、一方対入力される形状信号が形状を有するものであるときには、テクスチャー信号及び形状信号が各ブロック化器１１１０，１２１０に入力されるようこれらの信号の切替を行うようになっている。なお、上記形状検出出力は、可変長符号化器１０１０にて、各符号化部１１００ａ，１２００ａからの符号化データとともに可変長符号化処理が施されるようになっている。
【００９８】
次にこの実施の形態８の画像予測復号化装置の動作について簡単に説明する。このような構成の実施の形態８の画像予測復号化装置１０００ａでは、上記形状検出器１０２０による切替スイッチの制御以外は、上記実施の形態７と同様な予測復号化動作が行われる。
【００９９】
つまり、この画像予測復号化装置１０００ａでは、テクスチャー信号及び形状信号が入力されると、形状検出器１０２０にて、入力される形状信号が形状を有するものであるか否かの検出が行われる。この検出の結果、形状信号が形状を有しないものであるときには、上記形状検出器１０２０の出力により切替スイッチ１１９０及び１２９０が制御され、入力されるテクスチャー信号及び形状信号が接地側に供給される。つまりこのときには、形状信号及びテクスチャー信号に対する予測符号化処理は行われず、形状検出出力が可変長符号化器１０１０に供給される。
【０１００】
一方、上記検出の結果、入力される形状信号が形状を有するものであるときには、上記形状検出器１０２０の出力により切替スイッチ１１９０及び１２９０が制御され、テクスチャー信号及び形状信号が各ブロック化器１１１０，１２１０に入力され、それぞれ予測符号化処理が施される。そして、各符号化部１１００ａ及び１２００ａの出力とともに上記形状検出出力が可変長符号化器１０１０に出力される。
【０１０１】
このように本実施の形態８では、入力された形状信号が形状を有するものであるか否かを判定する形状検出器１０２０を備え、形状信号が形状を有するものである場合には、テクスチャー信号及び形状信号に対する予測符号化を行い、形状信号が形状を有するものでない場合には、テクスチャー信号及び形状信号に対する予測符号化を行わないようにしたので、画像を構成する物体を、物体単位で別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像がきえてしまうような画像を、画像の予測符号化において参照画像として用いてしまうということがなくなり、残差信号（差分信号）を抑圧できる適正な予測符号化を行うことができる。
【０１０２】
また、上記形状検出器での検出出力を符号化して伝送するようにしたので、画像予測復号化装置では、この検出出力を同期信号して用いて、つまり、画像サイズが小さくなって画像が消えている間は、この画像に対応する符号化データの再生を停止するようにして、画像サイズが変化し、画像がきえてしまうような画像に対する予測復号化処理を適正に行うことができる。
【０１０３】
さらに、上記各実施の形態で示した画像予測復号化方法あるいは装置，及び画像予測符号化方法あるいは装置の構成を実現するためのプログラムを、フロッピーディスク等のデータ記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１０４】
図１４は、上記各実施の形態における予測復号化処理あるいは予測符号化処理を、これらの信号処理に対応したプログラムを格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。
図１４(a) は、フロッピーディスクＦＤの正面からみた外観、断面構造、及び記録媒体であるフロッピーディスク本体を示し、図１４(b) は、フロッピーディスク本体Ｄの物理フォーマットの例を示している。フロッピーディスク本体ＤはケースＦＣ内に内蔵され、該ディスク本体Ｄの表面には、同心円状に外周から内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピーディスク本体Ｄでは、上記フロッピーディスク本体Ｄ上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。
【０１０５】
また、図１４(c) は、フロッピーディスクＦＤに対する上記プログラムの記録再生を行うための構成を示す。上記プログラムをフロッピーディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータをフロッピーディスクドライブＦDDを介してフロッピディスクＦＤに書き込む。また、フロッピーディスクＦＤ内のプログラムにより、上記画像伝送方法あるいは画像復号化装置をコンピュータシステムＣｓ中に構築する場合は、フロッピーディスクドライブＦDDによりプログラムをフロッピーディスクＦＤから読み出し、コンピュータシステムＣｓに転送する。
【０１０６】
なお、上記説明では、データ記録媒体として、上記各実施の形態における予測復号化処理あるいは予測符号化処理を行うためのプログラムを格納したものを挙げたが、データ記録媒体としては、上記各実施の形態における画像の符号化データを格納したものも挙げられる。
【０１０７】
また、上記説明では、データ記録媒体としてフロッピーディスクを用いたコンピュータシステムによる画像処理の説明を行ったが、この画像処理は、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に上記画像処理を実施することができる。
【０１０８】
【発明の効果】
以上のように本発明にかかる画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，及び画像予測符号化装置によれば、参照画像のサイズがゼロのとき、あるいは参照画像が完全に透過するとき、あるいは、参照画像のサイズがゼロであることを示す画像データ中のフラグを検出したときに、画像サイズがゼロでないほかの再生画像を用いて、予測復号化を行うようにしたので、圧縮効率の向上のため、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像が消えてしまうような画像を、画像の復号化，符号化において参照画像として用いてしまうということがなくなり、適正な復号化，符号化を行うことができ、したがって符号量を抑圧し、効率よく、圧縮符号化を行うことができるという顕著な効果が得られる。
【０１０９】
本発明にかかる画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，及び画像予測符号化装置によれば、参照画像のサイズがゼロであるか否か、即ち参照画像が完全に透過するであるか否かを、符号化データが存在するか否かを示す画像データ中のフラグを検出することにより検出するようにしたので、上記の効果に加えて、参照画像を決定する演算を、簡易に行うことができる効果が得られる。
【０１１０】
本発明にかかる画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，及び画像予測符号化装置によれば、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合において、両方向参照画像を用いて予測画像を生成する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、適正な復号化，符号化を行うことができるとともに、予測画像として、所定の値を有する予測画像を生成するようにしたので、予測画像を容易に生成することができる効果が得られる。
【０１１１】
本発明にかかる画像予測符号化装置によれば、入力された形状信号が形状を有するものであるか否かを判定する形状検出器を備え、形状信号が形状を有するものである場合には、テクスチャー信号及び形状信号に対する予測符号化を行い、形状信号が形状を有するものでない場合には、テクスチャー信号及び形状信号に対する予測符号化を行わないようにしたので、画像を構成する物体を、物体単位で別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像がきえてしまうような画像を、画像の予測符号化において参照画像として用いてしまうということがなくなり、適正な予測符号化を行うことができる。
【０１１２】
本発明にかかるデータ記憶媒体によれば、コンピュータに、参照画像のサイズがゼロのとき、あるいは参照画像が完全に透過するとき、あるいは、参照画像のサイズがゼロであることを示す画像データ中のフラグを検出したときに、画像サイズがゼロでないほかの再生画像を用いて、予測復号化を行う予測復号化処理あるいは予測符号化処理を行わせるプログラムを格納したので、上記のような符号量を抑圧し、効率よく、圧縮符号化を行うことができる予測復号化処理あるいは予測符号化処理をソフトウェアにより実現できる。
【０１１３】
本発明にかかるデータ記憶媒体によれば、コンピュータに、参照画像のサイズがゼロであるか否か、即ち参照画像が完全に透過するであるか否かを、符号化データが存在するか否かを示す画像データ中のフラグを検出することにより検出する予測復号化処理あるいは予測符号化処理を行わせるプログラムを格納したので、符号量を抑圧し、効率よく、圧縮符号化を行うことができるという効果に加えて、参照画像を決定する演算を、簡易に行うことができる予測復号化処理あるいは予測符号化処理をソフトウェアにより実現できる。
【０１１４】
本発明にかかるデータ記憶媒体によれば、画像を構成する物体を、物体単位で、別々に圧縮符号化して伝送する場合において、両方向参照画像を用いて予測画像を生成する場合に、画像サイズが変化し、画像が消えてしまうような画像を、参照画像として用いてしまうということがなくなり、適正な復号化，符号化を行うことができるとともに、予測画像として、所定の値を有する予測画像を生成する予測復号化処理あるいは予測符号化処理をコンピュータに行わせるプログラムを格納したので、予測画像を容易に生成することができる予測復号化処理あるいは予測符号化処理をソフトウェアにより実現できる。
【０１１５】
本発明にかかるデータ記憶媒体によれば、入力された形状信号が形状を有するものであるか否かを判定し、形状信号が形状を有するものである場合には、テクスチャー信号及び形状信号に対する予測符号化を行い、形状信号が形状を有するものでない場合には、テクスチャー信号及び形状信号に対する予測符号化を行わない予測符号化処理をコンピュータに行わせるプログラムを格納したので、画像を構成する物体を、物体単位で別々に圧縮符号化して伝送する場合に、画像サイズが変化し、画像がきえてしまうような画像を、画像の予測符号化において参照画像として用いてしまうということがなくなり、適正な予測符号化を行うことができる画像予測符号化装置をソフトウェアにより実現できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像予測復号化方法における予測画像生成方法を示す流れ図。
【図２】本発明による，画像予測復号化における画像予測の構造を示す模式図。
【図３】本発明の実施の形態１における画像予測復号化装置を示すブロック図。
【図４】本発明の実施の形態１における画像予測復号化装置に用いるフレームメモリを示すブロック図。
【図５】本発明の実施の形態３による画像予測復号化方法における予測画像生成方法を示す流れ図。
【図６】本発明の実施の形態４による画像予測復号化方法における予測画像生成方法を示す流れ図。
【図７】本発明の実施の形態１における画像データを示す図。
【図８】本発明の実施の形態２による画像予測復号化方法における予測画像生成方法を示す流れ図。
【図９】本発明の実施の形態２における画像データを示す図。
【図１０】本発明の実施の形態５による画像予測復号化方法における予測画像生成方法を示す流れ図。
【図１１】本発明の実施の形態６における画像予測復号化方法における予測画像生成方法を示す流れ図。
【図１２】本発明の実施の形態７による画像予測符号化装置を示すブロック図。
【図１３】本発明の実施の形態８による画像予測符号化装置を示すブロック図。
【図１４】図１４(a) 〜図１４(c) は、本発明の各実施の形態における符号化データを格納した、あるいは画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，または画像予測符号化装置による画像処理をコンピュータにより実現するためのプログラムを格納するためのデータ記録媒体を説明するための図。
【符号の説明】
３０１，１００１，１００２ 入力端子
３０２ データ解析器
３０３，１１３０，１２３０ 復号化器
３０４，１１３１ 逆量子化器
３０５，１１３２ 逆離散コサイン変換器（ＩＤＣＴ）
３０６，１１７０，１２７０ 加算器
３０７ 出力端子
３０９，１１４０，１２４０ フレームメモリ部
３１０，１１５０，１２５０ 予測画像生成器
３２０ 制御器
４０６ フレームメモリバンク
４０１〜４０３ フレームメモリ
４０４，４０５ スイッチ
４０７，４０８ ライン
１０００，１０００ａ 画像予測符号化装置
１００３ 出力端子
１０１０ 可変長符号化器
１０２０，１２８０ 形状検出器
１１００，１１００ａ テクスチャー符号化部
１２００，１２００ａ 形状符号化部
１１１０，１２１０ ブロック化器
１１２０，１２２０ 符号化器
１１２１ 離散コサイン変換器（ＤＣＴ）
１１２２ 量子化器
１１６０，１２６０ 減算器
１１７０，１２７０ 加算器
１１９０，１２９０ 切替スイッチ
＃１（２０１）〜＃１０（２１０） 画像
＃１（２１１）〜＃９（２２０） 画像
Ｃｓ コンピュータシステム
Ｄ フロッピーディスク本体
Ｆ フラグ
ＦＣ フロッピーディスクケース
ＦＤ フロッピーディスク
ＦDD フロッピーディスクドライブ
Ｈｍ，Ｖｍ 垂直，水平データサイズ
Claims (2)
- フレーム画像を符号化して得られた符号化フレームデータを予測復号化して再生フレーム画像を得る画像予測復号化方法であって、
（ i ）フレーム画像を前方予測符号化して得られた符号化フレームデータを復号化する際には、
復号化対象である第１のフレーム画像より先に復号化された、前方参照画像として参照され得るフレーム画像の符号化データである第２の符号化フレームデータが、復号化における参照に有意な画像符号化データを含むか否かを、前記第２の符号化フレームデータ内の、該第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第１のフラグで判断し、
前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択し、
前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示す場合には、前記第２の符号化フレームデータよりも前に復号化された符号化フレームデータであって、前記参照に有意な画像符号化データを含む符号化フレームデータを復号化して得られた復号化フレーム画像を、前方参照画像として選択し、
選択した前方参照画像を参照して予測画像を生成し、
前記生成した予測画像と、前記第１の符号化フレームデータを復号化して得られた復号化フレーム画像とから再生フレーム画像を生成し、
（ ii ）フレーム画像を双方向予測符号化して得られた符号化フレームデータを予測復号化する際には、
復号化対象である第１のフレーム画像よりも先に復号化された、前方参照画像として参照され得るフレーム画像の符号化データである第２の符号化フレームデータと、前記第１のフレーム画像よりも先に復号化された、後方参照画像として参照され得るフレーム画像の符号化データである第３の符号化フレームデータとのそれぞれが、前記参照に有意な画像符号化データを含むか否かを、前記第２の符号化フレームデータ内の、該第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第１のフラグと、前記第３の符号化フレームデータ内の、該第３の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第２のフラグとで判断し、
前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択し、
前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第３の符号化フレームデータを復号化して得られた復号化フレーム画像を後方参照画像として選択し、
前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択すると共に、前記第３の符号化フレームデータを復号化して得られた復号化フレーム画像を後方参照画像として選択し、
選択した前方参照画像と選択した後方参照画像の少なくとも一方を参照して予測画像を生成し、
生成した予測画像と、前記第１の符号化フレームデータを復号化して得られた復号化フレーム画像とから再生フレーム画像を生成する、
ことを特徴とする画像予測復号化方法。 - フレーム画像を符号化して得られた符号化フレームデータを予測復号化して再生フレーム画像を得る画像予測復号化装置であって、
復号化対象のフレーム画像を予測復号化する際に参照され得るフレーム画像の符号化データが、復号化における参照に有意な画像符号化データを含んでいるかどうかを判断する判断手段と、
該判断手段での判断結果に基づいて、前記復号化対象のフレーム画像を予測復号化する際に参照する参照画像を選択する選択手段と、
選択した参照画像を参照して予測画像を生成する予測画像生成手段と、
生成した予測画像を用いて、前記復号化対象のフレーム画像を再生する再生手段とを備え、
（ i ）フレーム画像を前方予測符号化して得られた符号化フレームデータを復号化するときには、
前記判断手段は、復号化対象である第１のフレーム画像より先に復号化された、前方参照画像として参照され得るフレーム画像の符号化データである第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを、前記第２の符号化フレームデータ内の、該第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第１のフラグで判断し、
前記選択手段は、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択し、
前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示す場合には、前記第２の符号化フレームデータよりも前に復号化された符号化フレームデータであって、前記参照に有意な画像符号化データを含む符号化フレームデータを復号化して得られた復号化フレーム画像を、前方参照画像として選択し、
前記予測画像生成手段は、選択した前方参照画像を参照して予測画像を生成し、
前記再生手段は、生成した予測画像と、前記第１の符号化フレームデータを復号化して得られた復号化フレーム画像とから再生フレーム画像を生成し、
（ ii ）フレーム画像を双方向予測符号化して得られた符号化フレームデータを予測復号化するときには、
前記判断手段は、復号化対象である第１のフレーム画像よりも先に復号化された、前方参照画像として参照され得るフレーム画像の符号化データである第２の符号化フレームデータと、前記第１のフレーム画像よりも先に復号化された、後方参照画像として参照され得るフレーム画像の符号化データである第３の符号化フレーム画像データとのそれぞれが、前記参照に有意な画像符号化データを含むか否かを、前記第２の符号化フレームデータ内の、該第２の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第１のフラグと、前記第３の符号化フレームデータ内の、該第３の符号化フレームデータが前記参照に有意な画像符号化データを含むか否かを示す第２のフラグとで判断し、
前記選択手段は、前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示す場合には、前記第２の符号化フレームデータを復号化して得られる復号化フレーム画像を前方参照画像として選択し、
前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含まないことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示す場合には、前記第３の符号化フレームデータを復号化して得られた復号化フレーム画像を後方参照画像として選択し、
前記第１のフラグが前記第２の符号化フレームデータが前記参照に有意な画像符号化データを含むことを示し、かつ前記第２のフラグが前記第３の符号化フレームデータが前記 参照に有意な画像符号化データを含むことを示す場合には、前記第２の符号化フレームデータを復号化して得られた復号化フレーム画像を前方参照画像として選択すると共に、前記第３の符号化フレームデータを復号化して得られた復号化フレーム画像を後方参照画像として選択し、
前記予測画像生成手段は、選択した前方参照画像と選択した後方参照画像の少なくとも一方を参照して予測画像を生成し、
前記再生手段は、生成した予測画像と、前記第１の符号化フレームデータを復号化して得られた復号化フレーム画像とから再生フレーム画像を生成する、
ことを特徴とする画像予測復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001048729A JP3776735B2 (ja) | 1997-04-09 | 2001-02-23 | 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9065997 | 1997-04-09 | ||
| JP9-90659 | 1997-04-09 | ||
| JP2001048729A JP3776735B2 (ja) | 1997-04-09 | 2001-02-23 | 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09473998A Division JP3387820B2 (ja) | 1997-04-09 | 1998-04-07 | 画像予測復号化装置及び画像予測復号化方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001268581A JP2001268581A (ja) | 2001-09-28 |
| JP2001268581A5 JP2001268581A5 (ja) | 2005-09-02 |
| JP3776735B2 true JP3776735B2 (ja) | 2006-05-17 |
Family
ID=26432116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001048729A Expired - Lifetime JP3776735B2 (ja) | 1997-04-09 | 2001-02-23 | 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3776735B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100799412B1 (ko) * | 2001-10-17 | 2008-01-30 | 마쯔시다덴기산교 가부시키가이샤 | 동화상 부호화 방법 및 동화상 복호화 방법 |
| JP2004088722A (ja) | 2002-03-04 | 2004-03-18 | Matsushita Electric Ind Co Ltd | 動画像符号化方法および動画像復号化方法 |
| PT3525464T (pt) | 2002-04-19 | 2021-04-06 | Panasonic Ip Corp America | Método e sistema de codificação e descodificação de imagem |
| JP2004007563A (ja) | 2002-04-19 | 2004-01-08 | Matsushita Electric Ind Co Ltd | 動画像符号化方法および動画像復号化方法 |
| JP5972687B2 (ja) * | 2012-07-02 | 2016-08-17 | 株式会社Ｎｔｔドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム |
-
2001
- 2001-02-23 JP JP2001048729A patent/JP3776735B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001268581A (ja) | 2001-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100451326B1 (ko) | 화상 예측 복호화 방법 및 화상 예측 부호화 방법 | |
| EP0542195B1 (en) | Interframe predicting method and picture signal coding/decoding apparatus | |
| KR100952892B1 (ko) | 비디오 데이타의 인트라코딩 방법 및 장치 | |
| JPH06197334A (ja) | 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体 | |
| KR20070096979A (ko) | 스위칭 픽쳐를 이용한 동영상 비트스트림 부호화 및 복호화방법 및 장치 | |
| WO1998021896A1 (en) | Digital image coding method and digital image coder, and digital image decoding method and digital image decoder, and data storage medium | |
| JP2003179921A (ja) | 符号化映像復号化装置 | |
| JP3776735B2 (ja) | 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体 | |
| KR19980033415A (ko) | 동화상을 코딩/인코딩하는 장치와 방법 그리고 동화상을 저장하는 저장매체 | |
| JP2007067526A (ja) | 画像処理装置 | |
| JP3128393B2 (ja) | 圧縮動画像再生装置 | |
| JP3387820B2 (ja) | 画像予測復号化装置及び画像予測復号化方法 | |
| JP3214849B2 (ja) | 画像予測復号化方法および装置 | |
| JP3304870B2 (ja) | 画像符号化方法及び装置並びに画像復号方法及び装置 | |
| JPH1023415A (ja) | 画像符号化復号方法および装置 | |
| JP2006217445A (ja) | 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置 | |
| JP3669536B2 (ja) | 画像符号化復号化装置及びその方法 | |
| JPH06276482A (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
| JPH07336681A (ja) | 画像変換装置 | |
| JPH06233271A (ja) | 動画像復号化方法 | |
| JP2001268571A (ja) | 動画像再符号化装置 | |
| JPH08130735A (ja) | 画像データ符号化／復号化装置 | |
| JP2018113525A (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP2006050490A (ja) | 画像符号化装置 | |
| MXPA98002826A (en) | Method of predictive decoding of images, device for predictive decoding of images, method of predictive decoding of images, apparatus for the predictive coding of images and means to store da |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050303 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20051018 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060223 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110303 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140303 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313133 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |