JP5016561B2 - 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法 - Google Patents

Description

本発明は、動画像の符号化を行う動画像符号化装置及び動画像符号化方法、並びに符号化された動画像の復号を行う動画像復号装置及び動画像復号方法に関する。

＜予測符号化の説明＞
従来から、動画像符号化方式として、ＭＰＥＧ（Moving Picture Experts Group）やＨ．２６ｘシリーズなどの方式が知られている。これらの方式では、動き補償技術を用いて符号化対象画像の予測画像を生成し、符号化対象画像と予測画像の差分を符号化することによって動画像を符号化する。このような符号化方式は予測符号化方式と呼ばれる。

以下、予測符号化を行う装置及びその復号を行う装置の一般的な構成を説明する。今、Ｘを符号化対象信号、ＹをＸの予測信号、ＮをＸとＹの予測誤差とすると、
Ｘ＝Ｙ＋Ｎ
である。予測符号化の符号化装置では、予測信号Ｙを生成し予測誤差Ｎ（＝Ｘ−Ｙ）を算出した上で、予測信号Ｙを生成するための情報と予測誤差Ｎを符号化する。

復号装置では、まず予測信号を生成するための情報から予測信号Ｙを復号し、さらに予測誤差Ｎを復号する。続いて、得られた予測信号Ｙと予測誤差Ｎを下式のように加算することで、符号化対象信号Ｘを復号する。
Ｘ＝Ｙ＋Ｎ

＜ＤＶＣの説明＞
ところで、近年、新しい動画像符号化方式としてDistributed Video Coding（以下ＤＶＣ符号化）と呼ばれる符号化方式が知られるようになった（例えば、非特許文献１及び特許文献１を参照）。ＤＶＣ符号化は、誤り訂正技術を用いると一定の誤りのある符号を訂正することが可能であるという原理を利用したものである。

以下、ＤＶＣ符号化を行う装置及びその復号を行う装置の一般的な構成を説明する。予測符号化の説明と同様、符号化対象信号をＸ、Ｘの予測信号をＹ、ＸとＹの予測誤差をＮとすると、
Ｘ＝Ｙ＋Ｎ
である。

ＤＶＣ符号化の符号化装置では、予測信号Ｙの生成を行わず、復号装置で予測信号Ｙを生成する。ＤＶＣ符号化の特徴は、符号化装置で予測信号Ｙを生成しない分、符号化に必要な演算量が小さいことである。符号化装置では、予測信号Ｙを生成しないことから、予測誤差Ｎを求めることはできない。そこでＤＶＣ符号化では、予測誤差Ｎを符号化する代わりに、符号化対象信号Ｘの誤り訂正用の情報を符号化する。

誤り訂正用の情報としては、一般の誤り訂正符号が利用できる。誤り訂正符号には、畳み込み符号、ターボ符号、低密度パリティ検出符号などがあるが、ＤＶＣ符号化にはそのいずれもが利用可能である。ＤＶＣ符号化では誤り訂正用の情報を圧縮に使うが、その使い方は、伝送や蓄積など通常の誤り訂正符号の使い方とは異なる。

誤り訂正符号の通常の使い方（例えば信号Ｘの伝送）では、誤り訂正符号化により信号ＸのパリティＷＺを生成した後、元の信号ＸとパリティＷＺの両者を伝送する。受信側では、信号ＸとパリティＷＺの組を受け取り、それらの組から誤りを訂正することで誤りのない信号Ｘが得られる。

それに対し、ＤＶＣ符号化では、信号Ｘを圧縮対象とすると、信号ＸのパリティＷＺを生成後、信号Ｘ自体は破棄し、パリティＷＺのみを伝送する。一般に、パリティＷＺは、信号Ｘよりも情報量が小さいため、信号ＸをパリティＷＺに置き換えることで符号量を削減できる。

ＤＶＣ符号化の手順を式で記述すると、
ＷＺ＝パリティ生成（Ｘ）
である。

ＤＶＣ符号化の復号装置では、まず、ＤＶＣ符号化による符号化データとは異なる、復号装置に入力される情報（例えば前後のフレームから予測した動きベクトルなど）を用いて、信号Ｘの予測値（予測信号Ｙ）を生成する。予測信号Ｙは、Ｘに誤りＮが載った信号とみなすことができることから、パリティＷＺを用いて予測信号Ｙの誤りを訂正することで、Ｘを再生することができる。

ＤＶＣ符号化の復号の手順を式で記述すると、
Ｘ＝誤り訂正（Ｙ，ＷＺ）
である。

＜コセットを用いたＤＶＣの説明＞
図５は、ＤＶＣ符号化の別の方式を説明するための図である。図５に示すＤＶＣ符号化では、符号化の対象となる値の定義域をある部分集合の組に分解し、符号化対象となる値の属する部分集合のインデックスを送ることによって符号化を行う。本明細書では、このようなＤＶＣ符号化を、コセットを用いたＤＶＣと呼ぶ。

図５（Ａ）に示すように、符号化の対象となる値の定義域が４つの部分集合Ａ、Ｂ、Ｃ、Ｄに分割されている場合を例に挙げて、定義域中の信号Ｘの符号化を説明する。信号Ｘの符号化では、まずＸがどの部分集合に属するかを判定する。図５（Ｂ）で例示する符号化ではＸ＝Ａ２であるため、Ｘは部分集合Ａに属する。続いて、部分集合のインデックスを符号化する。図５（Ａ）の例では部分集合Ａのインデックス、すなわち、セットＡという情報が符号化される。

復号では、セットＡという情報を受信すると、信号Ｘの予測信号Ｙを生成する。信号Ｘは部分集合Ａに属するものであるので、部分集合Ａに属する点の中で、予測信号Ｙにもっとも近い点を選択することにより信号Ｘの復号を行う。ここでは、予測信号Ｙが図５（Ｃ）に例示するような場合、Ａ２という値としてＸが復号できる。誤り訂正用の情報（信号がどの部分集合に属するかを示すインデックス）を用いることで、Ｘの予測（予測信号Ｙ）にある程度誤りがあっても正しい値Ａ２を得ることができる。誤り訂正用の情報（上記パリティ又はインデックス）は、一般的に「付加的情報」と呼ばれる。

＜ＤＶＣ符号化のための装置の具体的な構成の説明＞
以下、具体的なＤＶＣ符号化に関する装置の構成を説明する。図６は、従来のＤＶＣ符号化を用いた動画像符号化装置及び動画像復号装置を示すブロック図である。動画像符号化装置３００は、イントラ符号化部３０１、変換部３０２、量子化部３０３、付加的情報生成部３０４、及びフレーム振り分け部３３１から構成される。動画像復号装置４００は、イントラ復号部４０１、変換部４０２、量子化部４０３、付加的情報利用復号部４０４、再構成部４０５、逆変換部４０６、フレームメモリ４０７、動き補償部４０８、及び出力フレーム振り分け部４３１から構成される。

＜＜ＤＶＣ符号化の動画像符号化装置の説明＞＞
動画像符号化装置３００に入力された符号化対象フレームはフレーム振り分け部３３１によって、キーフレームとキーフレーム以外（以下、ＷＺフレームと呼ぶ）に振り分けられる。キーフレームは、イントラ符号化部３０１においてフレーム内符号化方式により符号化される。ＷＺフレームは、空間的冗長性を削減するためＤＣＴ変換などを行う変換部３０２で変換され、量子化部３０３で量子化された後、付加的情報生成部３０４で付加的情報が生成される。この付加的情報がＷＺフレームの符号化データである。キーフレームは、ＷＺフレームの予測を可能にするために必要なものであり、数フレームに１枚の割合で符号化される。ここで、最初のＷＺフレームを符号化する前には複数枚（２枚以上）のキーフレームを符号化する。このように動画像符号化装置３００では、符号化の結果としてキーフレームの符号化データとＷＺフレームの符号化データが生成され、外部へ出力されるか記憶部（図示せず）に蓄積される。

＜＜ＤＶＣ符号化の動画像復号装置の説明＞＞
動画像復号装置４００では、まずキーフレームの符号化データを受信し、その符号化データからイントラ復号部４０１によりキーフレームが復号される。復号されたキーフレームはフレームメモリ４０７に格納される。続いて、動画像復号装置４００は、ＷＺフレームの符号化データを受信する。ＷＺフレームの符号化データを受信すると、まず、フレームメモリ４０７に格納されたフレームを参照フレームとして予測画像が生成される。

予測画像の生成について説明する。ＷＺフレームを復号する時点では、フレームメモリ４０７には少なくとも複数枚の参照フレームが存在している（最初のＷＺフレームを復号する時点においてもすでに複数枚のキーフレームが復号されフレームメモリ４０７に格納されている）。動き補償部４０８では、１）参照フレーム間の動きを探索し、２）参照フレームと復号対象フレームの間隔に基づいて、動きの内挿もしくは外挿により、復号対象フレームと参照フレーム間の動きを推定し、３）推定された動きにより、参照フレームを用いて復号対象画像を予測する。以上の流れで予測画像を生成することができる。

生成された予測画像は変換部４０２でＤＣＴ変換などの変換がなされる。予測画像の変換係数は、一方では量子化部４０３に入力され、他方では再構成部４０５に入力される。量子化部４０３では、予測画像の変換係数が量子化される。付加的情報利用復号部４０４では、符号化装置より伝送された付加的情報ＷＺを用いて、量子化後の変換係数の誤りが訂正される。誤り訂正された変換係数は再構成部４０５に入力される。

再構成部４０５では逆量子化を行う。再構成部４０５の逆量子化では、予測信号（ここでは、予測画像の変換係数）を用いることによって確率的に符号化対象画像の信号に近くなるように処理する。この処理は、ＤＶＣ符号化では一般的な方法である（例えば、非特許文献２を参照）。従来の逆量子化を行う手段と区別するため、本明細書では、予測信号を用いない従来の逆量子化を行う手段を有する部位を逆量子化部と呼び、予測信号を用いた逆量子化を行う手段を有する部位を再構成部と呼ぶ。

図７は、通常の逆量子化及び予測信号を用いた逆量子化の方法を説明するための図である。ここで、図７（Ａ），（Ｂ）は、図６の再構成部４０５での逆量子化、すなわち予測信号Ｙを用いた逆量子化の方法を説明するための図で、図７（Ｃ）は、図７（Ａ），（Ｂ）との比較のために、予測信号Ｙを用いない逆量子化を説明するための図である。量子化とは、ある値の範囲（複数の値）に対して１つの値（量子化代表値）を割り当てる処理であるから、量子化代表値となる量子化前の値は複数ある（範囲をとる）。例えば、−２、−１、０、１、２に０を割り当てるような量子化の場合には、量子化により０となる量子化前の値は、この場合−２、−１、０、１、２の範囲となる。

通常の逆量子化（予測信号Ｙを用いない逆量子化）では、図７（Ｃ）に示すように、量子化前の値の範囲内の１つの値を量子化代表値とし、量子化された値から量子化代表値を得ることで逆量子化が行われる。前の例では、−２、−１、０、１、２のうちの１つの値として０を量子化代表値とする（０の逆量子化では０が得られる）。

それに対し、予測信号を用いた逆量子化は、量子化された値から決まる１つの量子化代表値を用いるのではなく、予測信号が量子化前の範囲にあるかどうかで値を変える。具体的には、図７（Ａ）に示すように、予測信号が量子化前の係数の値の範囲にあれば、予測信号をそのまま用いる。逆に、図７（Ｂ）に示すように、予測信号が量子化前の係数の範囲外であれば、量子化前の係数の範囲内の値のうち予測信号に最も近い値を用いる。このような処理によって、単純に量子化代表値を用いるよりも、確率的に元の値に近い値を求めることができる。

再構成部４０５により逆量子化された変換係数は、逆変換部４０６において逆変換がなされ画像が復号される。復号画像は、出力画像として出力されると共に、フレームメモリ４０７に格納される。フレームメモリ４０７に格納された画像は、後続のフレームにおいて、復号対象ブロックの予測画像の生成に用いることができる。出力フレーム振り分け部４３１は、復号されたキーフレームを外部（表示装置等）へ出力するか、逆変換部４０６から出力された復号後のＷＺフレームを外部へ出力するかを振り分ける。動画像復号装置４００では、この振り分けにより正しい順序でフレームが外部出力できる。勿論、外部出力の代わりに、図示しない記憶部へ出力（つまり蓄積）してもよい。

このように、符号化装置では予測信号の生成を行わずに復号装置で予測信号の生成を行うＤＶＣ符号化では、予測信号を用いた逆量子化（再構成）を行うことで復号画像の画質を向上させる処理が広く用いられている。
特開２００７−２７４０３５号公報 高村誠之、「Distributed Video Codingの動向と今後」、情報処理学会研究報告2006-AVM-54 A. Aaron, R. Zhang and B. Girod, "Wyner-Ziv coding of motion video," Proc. Asilomar Conference on Signals and Systems , Pacific Grove, CA, Nov. 2002

上述のように、ＤＶＣ符号化技術は、復号装置において復号対象フレームの予測信号を生成し、生成された予測信号の誤りを訂正することにより復号を行うものである。しかしながら、復号対象フレームの動きが推定しにくい領域など、復号装置で適当な予測信号が生成できない領域では、予測信号の誤り訂正に多くの誤り訂正用の情報を必要とし符号化効率が低下するという問題（以下、第１の問題という）がある。

なお、復号対象フレームの動きが推定しにくくなる領域としては、例えばシーンチェンジやオクルージョンなど、復号対象フレームとその前後のフレームとの間で対応する部分がない領域が挙げられる。また、動きを推定するためには領域同士の対応を取ることが必要であるが、平坦な領域では、対応をとるための情報が少ないため復号対象フレームの動きが推定しにくくなる。また、オブジェクトのサイズが小さい場合には、領域同士の対応をとるための領域の選択が難しいため、復号対象フレームの動きが推定しにくくなる。さらに、オブジェクトの動きの速度に変化がある場合には、復号対象フレーム前後のフレームから求めたオブジェクトの動きの速度と復号対象フレームにおける動きの速度が一致しないため、復号対象フレームの動きが推定しにくくなる。

また、キーフレームの間隔が開くと動きが推定しにくくなることから、従来のＤＶＣ符号化では、入力フレームの２枚に１枚をキーフレームとして符号化するなど、キーフレームの間隔を小さくしている。しかしながら、キーフレームの間隔を小さくすると、シーケンス全体に占めるキーフレームの割合が高くなることから、符号化効率が低下するという問題（以下、第２の問題という）がある。

上述したＤＶＣ符号化に関する第１の問題及び第２の問題に対応するためには、キーフレーム以外のフレームにおいても、明示的に予測信号を生成するための情報を符号化すること、すなわち、符号化対象フレームのうち動きが推定しにくいフレームは予測符号化フレームにすること、もしくは、符号化対象フレームを複数の領域に分割し、動きが推定しやすい領域ではＤＶＣ符号化を行い、動きが推定しにくい領域では予測符号化を行うことが有効と考えられる。

しかしながら、ＤＶＣ符号化と予測符号化の併用には、ＤＶＣ符号化で符号化された部分を参照フレームとして利用できないという問題（以下、第３の問題という）がある。より具体的に説明すると、予測符号化では、符号化装置と復号装置で同じ予測信号を生成することが必要である。すなわち、予測信号を生成するために必要な参照フレームが、符号化装置と復号装置で同じことが前提条件である。この条件を満たすために予測符号化の符号化装置では、復号装置と同一の復号を行うことが可能な局所復号部を備える。それに対して、ＤＶＣ符号化の復号では一般に予測信号を用いた逆量子化（再構成）を行うため、予測信号を生成しない符号化装置で復号装置と同じ復号を行うことができない。そのため、予測符号化とＤＶＣ符号化を併用する際には、上述の第３の問題が生じる。なお、併用に際し、ＤＶＣ符号化装置に完全な局所復号部を設ける構成は、符号化に必要な演算量が小さいというＤＶＣ符号化の特徴を失わせるため、意味がない。

そして、上述した第３の問題から、ＤＶＣ符号化と予測符号化の併用には、参照フレームがキーフレームのみに制限されるという大きな制限が生じることになる。そして、参照フレームがキーフレームのみに制限されることで、時間的に近くのフレームを参照フレームにできず時間的に遠いフレームを参照フレームにすることになり、特に時間的相関の高い動画像においては、結果として生成された予測画像の予測精度が低くなってしまう。なお、ここで、予測精度を上げるためにキーフレームの間隔を短くすることは、ＤＶＣ符号化と予測符号化を併用しても上述した第２の問題を解決できていないことを意味する。

本発明は、上述のごとき実状に鑑みてなされたものであり、予測信号の生成を符号化装置側で行わず復号装置側で行うＤＶＣ符号化と、符号化装置と復号装置で同じ予測信号を生成する必要がある予測符号化とを併用する際に、ＤＶＣ符号化で符号化された部分を参照フレームとして利用できるようにする、動画像符号化装置及び動画像符号化方法、並びに動画像復号装置及び動画像復号方法を提供することを、その目的とする。

上記課題を解決するために、本発明の第１の技術手段は、動画像の画像信号をＤＶＣ符号化することが可能な動画像符号化装置であって、符号化対象の画像信号に対して、画像を示すフレームを分割したブロック単位で、ＤＶＣ符号化を行う画像信号と予測符号化を行う画像信号とを振り分けるブロック振り分け手段と、前記予測符号化を行う画像信号に対して、予測符号化用フレームメモリに格納されたフレームを参照して予測信号を生成し、予測符号化を行う予測符号化手段と、前記ＤＶＣ符号化を行う画像信号に対して、該画像信号を量子化し量子化された信号から付加的情報を生成することでＤＶＣ符号化を行うＤＶＣ符号化手段と、前記ＤＶＣ符号化手段で量子化された信号に対して予測信号を用いない逆量子化を行って局所復号画像のフレームを生成し、前記予測符号化用フレームメモリに格納する局所復号画像生成手段と、を備えたことを特徴としたものである。

第２の技術手段は、ＤＶＣ符号化された動画像の画像信号を復号することが可能な動画像復号装置であって、復号対象の画像信号に対して、画像を示すフレームを分割したブロック単位で、ＤＶＣ符号化により符号化された画像信号と予測符号化された画像信号とを振り分けるブロック振り分け手段と、前記予測符号化された画像信号に対して、予測符号化復号用フレームメモリに格納されたフレームを参照して予測信号を生成し、予測符号化復号を行う予測符号化復号手段と、前記ＤＶＣ符号化により符号化された画像信号に対して、予測信号を生成した上で、付加的情報による復号である付加的情報復号を実行し、該付加的情報復号により得た信号に対して予測信号を用いた逆量子化を実行することで、局所復号画像のフレームを生成する付加的情報利用復号手段と、前記付加的情報利用復号手段における付加的情報復号により得た信号に対し、予測信号を用いない逆量子化を行って局所復号画像のフレームを生成し、前記予測符号化復号用フレームメモリに格納する逆量子化手段と、を備えたことを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記付加的情報利用復号手段は、予測信号を用いた逆量子化により生成された局所復号画像のフレームを、前記予測符号化復号用フレームメモリとは異なるＤＶＣ復号用フレームメモリに格納し、ＤＶＣ符号化により符号化された画像信号に対する前記予測信号を生成する際に該ＤＶＣ復号用フレームメモリを参照することを特徴としたものである。

第４の技術手段は、動画像の画像信号をＤＶＣ符号化することが可能な動画像符号化方法であって、符号化対象の画像信号に対して、画像を示すフレームを分割したブロック単位で、ＤＶＣ符号化を行う画像信号と予測符号化を行う画像信号とを振り分けるブロック振り分けステップと、前記予測符号化を行う画像信号に対して、予測符号化用フレームメモリに格納されたフレームを参照して予測信号を生成し、予測符号化を行う予測符号化ステップと、前記ＤＶＣ符号化を行う画像信号に対して、該画像信号を量子化し量子化された信号から付加的情報を生成することでＤＶＣ符号化を行うＤＶＣ符号化ステップと、前記ＤＶＣ符号化ステップで量子化された信号に対して予測信号を用いない逆量子化を行って局所復号画像のフレームを生成し、前記予測符号化用フレームメモリに格納する逆量子化ステップと、を含むことを特徴としたものである。

第５の技術手段は、ＤＶＣ符号化された動画像の画像信号を復号することが可能な動画像復号方法であって、復号対象の画像信号に対して、画像を示すフレームを分割したブロック単位で、ＤＶＣ符号化により符号化された画像信号と予測符号化された画像信号とを振り分けるブロック振り分けステップと、前記予測符号化された画像信号に対して、予測符号化復号用フレームメモリに格納されたフレームを参照して予測信号を生成し、予測符号化復号を行う予測符号化復号ステップと、前記ＤＶＣ符号化により符号化された画像信号に対して、予測信号を生成した上で、付加的情報による復号である付加的情報復号を実行し、該付加的情報復号により得た信号に対して予測信号を用いた逆量子化を実行することで、局所復号画像のフレームを生成する付加的情報利用復号ステップと、前記付加的情報利用復号ステップにおける付加的情報復号により得た信号に対し、予測信号を用いない逆量子化を行って局所復号画像のフレームを生成し、前記予測符号化復号用フレームメモリに格納する逆量子化ステップと、を含むことを特徴としたものである。

本発明によれば、予測信号の生成を符号化装置側で行わず復号装置側で行うＤＶＣ符号化と、符号化装置と復号装置で同じ予測信号を生成する必要がある予測符号化とを併用する際に、ＤＶＣ符号化で符号化された部分を参照フレームとして利用することが可能になる。

図１は、本発明の一実施形態に係る動画像符号化装置の構成例を示すブロック図である。図１で例示する動画像符号化装置１００は、イントラ符号化部１０１、変換部１０２、量子化部１０３、付加的情報生成部１０４、逆量子化部１１０、逆変換部１１１、フレームメモリ１１２、予測画像生成部１１３、減算部１１４、変換部１１５、量子化部１１６、可変長符号化部１１７、逆量子化部１１８、逆変換部１１９、加算部１２０、イントラ復号部１２１、フレーム振り分け部１３１、ブロック振り分け部１３２、及び出力振り分け部１３３を備える。

動画像符号化装置１００に入力された符号化対象フレームは、まず、フレーム振り分け部１３１によって、キーフレームとキーフレーム以外（ＷＺフレーム）に振り分けられる。フレーム振り分け部１３１の振り分けは、例えばデフォルトの振り分け規則、若しくはユーザにより直接又は間接的に設定した所定の振り分け規則に則って実行すればよい。本発明では、以下の説明から明らかなように、キーフレームの間隔を大きく設定しても（ＤＶＣ符号化された部分も参照フレームとして利用できるため）、予測画像の予測精度の低下への影響は少ない。

キーフレームは、イントラ符号化部１０１においてフレーム内符号化方式により符号化される。イントラ符号化部１０１で符号化された符号化データは、出力される一方、他方でイントラ復号部１２１で復号され、フレームメモリ１１２に格納される。フレームメモリ１１２には、所定の枚数のフレームを保存することができ、格納されたフレームは、後述の予測画像生成部１１３で予測画像を生成する際に用いられる。キーフレームは、ＷＺフレームの予測を可能にするために必要なものであり、数フレームに１枚の割合で挿入する。最初のＷＺフレームを符号化する前に複数枚（２枚以上）のキーフレームを符号化する。

ＷＺフレームは、縦横１６×１６画素などのブロック単位で処理が行われる。ＷＺフレームのブロックは、ブロック振り分け部１３２によって、ＤＶＣブロックもしくは予測符号化ブロック（以下、予測ブロックという）に振り分けられる。ＤＶＣブロックとして振り分けられたブロックは変換部１０２に入力され、予測ブロックとして振り分けられたブロックは予測画像生成部１１３及び減算部１１４に入力される。

ブロック振り分け部１３２の振り分け方法について以下に説明する。振り分け方法の１つは、数ブロックに１つの割合で予測ブロックとＤＶＣブロックを振り分けることである。この際、振り分けは４ブロックに１つと機械的に決定することもできるし、空間的に格子パターンなるように振り分けることもできる。また、画面の周囲部分を予測符号化に振り分けることもできる。ＤＶＣブロックだけでの処理に比べ、予測ブロックを挿入することにより、動画像復号装置におけるＤＶＣブロックの予測信号生成における予測精度を向上させることができる。

別の振り分け方法の１つは、フレームメモリ１１２に格納されている画像を読み出し、その画像と入力画像の差分を計算し、その差分の大きさが所定の値よりも大きい場合に予測ブロックに振り分け、所定の値よりも小さい場合にはＤＶＣブロックに振り分ける方法である。この場合、復号対象フレームの動きが推定しにくい領域を予測ブロックとすることになるため符号化効率が向上する。なお、フレームメモリ１１２の画像を縮小したフレームと入力画像を縮小したフレームとの間で動きを算出することにより、フレーム全体の動きを算出することが、計算量の上から好適である。

また、別の振り分け方法の１つは、ブロック振り分け部１３２の内部に図示しない動き予測部を備えておき、上述の差分計算の際に、フレームメモリ１１２から読み出した画像（又は縮小した画像）をそのまま用いるのではなく、簡易な動き予測を行ってから差分を計算する方法である。単純に差分を計算するよりも、動きの予測が難しい部分を精度よく振り分けることができる。

また、別の振り分け方法の１つは、フレーム毎にＤＶＣブロックと予測ブロックとを振り分ける方法、つまりフレーム単位で全てのブロックがＤＶＣブロックとなるか或いは全てのブロックが予測ブロックとなるかを切り替える方法である。この方法では、切り替え処理自体の頻度も少なく、振り分け先の決定に際してのフレームメモリ１１２の参照などが不要であり、振り分けが容易になる。ＤＶＣブロックのみでなるフレームに対しても、「予測信号を用いない逆量子化を行う」ことを実行しておけば、ＤＶＣ符号化されたブロックのみでなるフレームを、予測符号化及びその復号に際しての参照フレームとすることができる。また、振り分けに際しては、例えばＤＶＣ符号化で失われた画質を回復する（リフレッシュ処理を確実に行う）用途で予測ブロックとして振り分けるように、このフレーム毎のブロック振り分けを行うとよい。

ＤＶＣブロックは、空間的冗長性の削減する手段である変換部１０２でＤＣＴ変換などの変換がなされ、量子化部１０３で量子化された後、付加的情報生成部１０４で付加的情報が生成される。生成された付加的情報は、ＷＺブロックの符号化データとして出力される。付加的情報とは、誤り訂正用の情報であり、一般の誤り訂正符号が利用できる。また、付加的情報としては、誤り訂正符号に限らず、値を複数の集合に分割した場合の集合のインデックスなど、値の範囲を制限するためのインデックスが利用できる（図５及びその説明を参照）。なお、付加的情報として誤り訂正符号を適用した場合には、付加的情報生成部１０４はパリティ生成部となる。

量子化部１０３の出力は、付加的情報生成部１０４に入力される一方、逆量子化部１１０にも出力される。量子化された変換係数は、逆量子化部１１０で逆量子化され、逆変換部１１１で逆変換される。逆変換により得られた画像は局所復号された画像であり、フレームメモリ１１２に格納される。

量子化とは、値を複数の区間に分け区間毎に値を振り直す処理であるので、量子化された値が得られた場合、量子化される前はある一定範囲にある。逆量子化部１１０は、予測信号を用いない逆量子化を行うものであり、量子化前の値の範囲内の１つの値を量子化代表値とし、その量子化代表値を得ることで行われる。逆量子化部１１０での逆量子化は、予測信号を用いないものであるため、この動画像符号化装置１００で得られる（フレームメモリ１１２に格納される）局所復号画像は、後述する動画像復号装置の出力となる復号画像とは異なるものである。

予測ブロックの復号では、まず、予測画像生成部１１３においてフレームメモリ１１２に格納されたフレームの情報を用いて符号化対象ブロックの予測画像が生成される。フレームメモリ１１２に格納されたフレームの情報としては、イントラ復号部１２１から出力されたキーフレームの画像と、上述した逆変換部１１１から出力された局所復号画像（ＷＺフレームのうちのＤＶＣブロックの局所復号画像）と、後述する加算部１２０から出力された局所復号画像（ＷＺフレームのうちの予測ブロックの局所復号画像）とが存在する。

予測画像を生成する１つの方法は、動き補償を用いるものであり、もう１つはイントラ予測を用いるものである。動き補償を用いたブロックは、すでに符号化されたフレームから、符号化対象ブロックから所定の移動量（動きベクトルと呼ばれる）だけずらした位置のブロックを切り出して生成する。動きベクトルが整数でない場合には、画素値を補間して予測画像の画素値を得る。イントラ予測を用いたブロックは、フレームメモリ１１２に格納された符号化対象ブロックの周囲のブロックの画素値を用いて予測する。

イントラ予測の方法の１つは、符号化対象ブロックの上ブロックと左ブロックの画素値の平均値を予測値とする方法である。他の方法として、上ブロックの画素値を下方向に延長して生成する方法や、左ブロックの画素値を右方向に延長して生成する方法がある。イントラ予測を行う場合には、これら複数の予測方法から１つの予測方法を選択して用いることが適当である。なお、イントラ予測の方法を示すフラグをここではイントラ予測モードと呼ぶ。

予測画像を生成するための情報（動き補償であれば動きベクトル、イントラ予測であればイントラ予測モード）は、可変長符号化部１１７に入力される。

生成された予測画像は減算部１１４に入力される。減算部１１４では、符号化対象ブロックと予測画像の差分が算出される。得られた差分は、変換部１１５でＤＣＴ変換などの変換がなされ、量子化部１１６で量子化される。量子化された変換係数は一方では可変長符号化部１１７に出力され、他方では逆量子化部１１８に出力される。

可変長符号化部１１７では、予測画像を生成するための情報及び量子化された変換係数が、ハフマン符号や算術符号などにより可変長符号化される。可変長符号化された符号は、符号化データとして出力される。

また、出力されるキーフレーム以外の符号化データは、可変長符号化部１１７からの符号化データだけでなく、上述したようにＷＺブロックの符号化データも存在するため、ブロック振り分け部１３２での振り分けに応じて出力振り分け部１３３で両者を振り分ける。なお、イントラ符号化部１０１から出力されるキーフレームの符号化データと、付加的情報生成部１０４又は可変長符号化部１１７から出力されるキーフレーム以外の符号化データとは、例えば多重化して出力すればよい。

逆量子化部１１８では、量子化部１１６で量子化された変換係数が逆量子化され、逆変換部１１９ではさらに逆変換される。これにより復号された差分ブロックは、加算部１２０で予測画像生成部１１３から出力された予測画像と加算され、予測ブロックの局所復号画像となる。この局所復号画像は、フレームメモリ１１２に格納され、上述したように予測画像の生成に使用される。

図２は、図１の動画像符号化装置におけるＷＺフレームの参照方法、すなわちＷＺフレームにおける予測の仕方について説明するための図である。図２において、Ｋ１、Ｋ２はキーフレーム、ＷＺ１、ＷＺ２、ＷＺ３はＷＺフレームであり、ＷＺフレーム中、空白領域はＤＶＣ符号化で符号化している領域、網掛け領域は予測符号化で符号化されている領域である。

ＷＺ１ではＫ１を参照フレームとして符号化を行っている。この参照は、従来技術においても問題なく行える。ＷＺ２では、ＷＺ１フレームを参照フレームとして符号化を行う。ＷＺ１のＤＶＣ符号化領域を参照しているが、本発明の動画像符号化装置１００では、予測信号を用いない逆量子化を用いた局所復号を行うため問題なく参照できる。ＷＺ３では、フレーム全体が予測符号化を行っている。領域毎に予測符号化とＤＶＣ符号化を選択する例を中心に説明したが、本発明では、この例や、フレーム毎にＤＶＣブロックと予測ブロックとを振り分ける方法で触れたように、（ブロック振り分け部１３２での振り分けの結果）フレーム全体を予測符号化することも可能である。この場合、キーフレームとＷＺフレーム（ＷＺ３）の間に、別のＷＺフレーム（ＷＺ１，ＷＺ２）が入った場合においても、フレーム全体を予測符号化することができる。

以上、図１の構成例を挙げて説明したように、本発明に係る動画像符号化装置は、動画像の画像信号をＤＶＣ符号化することが可能な装置であって、次の予測符号化手段、ＤＶＣ符号化手段、及び局所復号画像生成手段を備える。

予測符号化手段は、フレームメモリ１１２、予測画像生成部１１３、減算部１１４、変換部１１５、量子化部１１６、可変長符号化部１１７、逆量子化部１１８、逆変換部１１９、及び加算部１２０で例示したように、符号化対象の画像信号のうち予測符号化を行う画像信号に対して、予測符号化用フレームメモリ（フレームメモリ１１２）に格納されたフレームを参照して予測信号を生成し、予測符号化を行う。また、予測符号化手段の一部としては、イントラ復号部１２１で例示したように、予測符号化時にキーフレームを利用する手段も有する。予測符号化時に参照されるフレームとしては、予測符号化後に復号した加算部１２０からの出力の他に、イントラ復号部１２１からのキーフレーム、並びに後述の局所復号画像生成手段で生成されたＤＶＣブロックのフレームが含まれる。

ＤＶＣ符号化手段は、変換部１０２、量子化部１０３、及び付加的情報生成部１０４で例示したように、符号化対象の画像信号のうちＤＶＣ符号化を行う画像信号に対して、その画像信号を量子化し量子化された信号から付加的情報を生成することで、ＤＶＣ符号化を行う。また、ＤＶＣ符号化手段の一部としては、イントラ符号化部１０１で例示したように、ＤＶＣ符号化で必須となるキーフレームの符号化を行う手段も有する。また、ブロック振り分け部１３２は、符号化対象の画像信号に対して、画像を示すフレームを分割したブロック単位で、ＤＶＣ符号化手段で符号化する対象の画像信号と予測符号化手段で符号化する対象の画像信号とを振り分けるブロック振り分け手段の一例である。

局所復号画像生成手段は、逆量子化部１１０及び逆変換部１１１で例示したように、この量子化された信号に対して逆量子化（予測信号を用いない逆量子化）を行って局所復号画像のフレームを生成し、予測符号化用フレームメモリ（フレームメモリ１１２）に格納する。従来、予測符号化とＤＶＣ符号化を併用する際にＤＶＣ符号化で符号化した部分を参照フレームとして利用できずに符号化効率が低下していたが、付加的情報を生成する対象（つまりＤＶＣ符号化の対象）である量子化された信号に対し、予測信号を用いない逆量子化を行うことによって局所復号画像を生成し、予測符号化時に利用可能にする上記局所復号画像生成手段により、ＤＶＣ符号化した部分を復号時に参照フレームとして利用することができる。

以上説明したように、本発明の動画像符号化装置は、ＤＶＣ符号化されるブロックにおいても（後述の動画像復号装置の復号とは異なる）局所復号を可能にし、その局所復号画像をフレームメモリに格納するようにしたことにより、ＤＶＣ符号化されたブロックを参照した予測符号化が可能となり、結果としてＤＶＣ符号化されたブロックに対しても復号時に参照フレームとして利用して予測符号化復号を行うことが可能となる。すなわち、本発明の動画像符号化装置により、予測符号化とＤＶＣ符号化を併用する際に、ＤＶＣ符号化で符号化した部分を復号時に参照フレームとして利用することができる。

このように本発明の動画像符号化装置では、一部のフレームを予測符号化とすることやフレームの一部の領域を予測符号化に用いる場合において、参照フレームに対する制限がなくなってＷＺフレームを参照フレームにできるため、符号化対象フレームと参照フレームとの時間的な距離を短く保ったままキーフレームの間隔を長くすることができ、また予測符号化の効率を高めることができる。このように、本発明の動画像符号化装置では、演算量は大きいが符号化効率が高い予測符号化と、演算量は少ないが場合によっては符号化効率が低下するＤＶＣ符号化の併用することによって、動画像符号化における演算量と符号化効率のバランスを向上させることができる。つまり、本発明の動画像符号化装置では、ＤＶＣ符号化の特徴である「符号化に必要な演算量を抑える」ことを実現したまま、ＤＶＣ符号化と予測符号化との併用を実現することが可能になる。

次に、図３を参照して、図１の動画像符号化装置１００で符号化されたデータを復号する動画像復号装置について説明する。図３は、本発明の一実施形態に係る動画像復号装置の構成例を示すブロック図である。

図３で例示する動画像復号装置２００は、イントラ復号部２０１、変換部２０２、量子化部２０３、付加的情報利用復号部２０４、再構成部２０５、逆変換部２０６、第１のフレームメモリ２０７、予測画像生成部２０８、逆量子化部２１０、逆変換部２１１、第２のフレームメモリ２１２、予測画像生成部２１３、可変長符号復号部２１７、逆量子化部２１８、逆変換部２１９、加算部２２０、出力フレーム振り分け部２３１、入力ブロック振り分け部（符号振り分け部）２３２、及び出力ブロック振り分け部２３３を備える。

動画像復号装置２００では、まずキーフレームの符号化データをイントラ復号部２０１で復号することでキーフレームが復号される。なお、イントラ復号部２０１へ入力されるキーフレームの符号化データとキーフレーム以外の符号化データとが多重化されたデータとして入力画像を受信した場合には、入力画像から両者を分離すればよい。イントラ復号部２０１で復号されたキーフレームは、第１のフレームメモリ２０７に格納されると共に、第２のフレームメモリ２１２にも格納される。第１のフレームメモリ２０７に格納されたフレームはＤＶＣブロックを復号する際に参照され、第２のフレームメモリ２１２に格納されたフレームは予測ブロックを復号する際に参照される。

続いて、動画像復号装置２００は、ＷＺフレームの符号化データを受信する。ＷＺフレームとして符号化されたフレームは、ブロック単位で復号される。復号対象ブロックには、ＤＶＣブロックと予測ブロックがある。

復号対象ブロックの符号は、符号振り分け部２３２により、復号対象ブロックがＤＶＣブロックであれば付加的情報利用復号部２０４に入力され、予測ブロックであれば可変長符号復号部２１７に入力される。符号振り分け部２３２における、予測ブロック／ＤＶＣブロックの振り分けのための情報は、マクロブロックヘッダなど符号化データのヘッダに動画像符号化装置１００側で格納しておくか、或いは動画像復号装置２００側で所定の振り分け規則を設定しておけばよい。後者の場合でも、決まった規則に柔軟性を与えるために、動画像符号化装置１００側で、フレームヘッダに規則を選択するためのフラグを書き込むことが望ましい。例えば、振り分け規則がＮブロックに１回、予測ブロックを選択するという規則であるときに、その「Ｎ」をフラグとしてフレームヘッダに書き込むとよい。

復号対象ブロックがＤＶＣブロックである場合には、まず、予測画像生成部２０８により、フレームメモリ２０７に格納されたフレームを用いて予測画像（ＤＶＣブロックに対する予測画像）が生成される。最初のＷＺフレームを復号する時点では複数枚のキーフレームが復号されているので、フレームメモリ２０７には少なくとも複数枚の参照フレームが存在している。例えば、図４は、キーフレームとＷＺフレームの関係を示したものである。図４では、ＷＺフレームとしてＷＺ１を復号する場合には、Ｋ１、Ｋ２のキーフレームが復号されている。このとき、フレームメモリ２０７に記録されたＫ１、Ｋ２の参照フレームを用いて以下のように予測画像を生成する。

まず、１）参照フレーム間の動きを探索する。ここではＫ１、Ｋ２間の動きベクトルをブロック単位で算出する。この例では、動きベクトルＭＶ０で示される動きが検出されたとする。次に、２）参照フレームと復号対象フレームの間隔に基づいて、動きの内挿もしくは外挿により、復号対象フレームと参照フレーム間の動きを推定する。ここでは、Ｋ１、Ｋ２間の動きベクトルＭＶ０の１／３をＫ１とＷＺ１間の動きベクトルＭＶ１とし、Ｋ１、Ｋ２間の動きベクトルＭＶ０の２／３をＫ２とＷＺ１間の動きベクトルＭＶ２とする。最後に、３）動き補償により、推定された動きを用いて復号対象ブロックの予測画像を参照フレームから推定する。ここでは動きベクトルＭＶ１によりＫ１から生成した画像Ｙ１と、動きベクトルＭＶ２によりＫ２から生成した画像Ｙ２の平均をＹ１＋Ｙ２／２を予測画像とする。

生成された予測画像は、変換部２０２で変換される。予測画像の変換係数（この値は以後、予測信号として扱われる）は、一方では量子化部２０３に入力され、他方では再構成部２０５に入力される。量子化部２０３では、予測画像の変換係数が量子化される。付加的情報利用復号部２０４では、動画像符号化装置より伝送された付加的情報ＷＺを用いて、誤り訂正などにより、量子化された変換係数の復号が行われる。なお、付加的情報が誤り訂正符号の場合、付加的情報利用復号部２０４は誤り訂正部となる。復号された変換係数は一方では再構成部２０５に入力され、他方では逆量子化部２１０に入力される。

再構成部２０５では、予測信号（ＤＶＣブロックの復号時に予測画像生成部２０８で生成し変換した予測画像）を用いた逆量子化を行う。再構成部２０５の逆量子化では、予測信号を用いることによって確率的に符号化対象画像の信号に近くなるように処理する。この処理は、図７を用いてすでに説明したものであり、量子化代表値よりも確率的に元の値に近い値を求めるものである。図７（Ａ）に示すように予測信号（予測画像の変換係数）が量子化前の係数の範囲の中にあれば、予測信号を用いる。逆に、図７（Ｂ）に示すように予測信号が量子化前の係数の範囲外であれば、範囲の端の値で、予測信号に近い方の値を用いる。

再構成部２０５により逆量子化された変換係数は、逆変換部２０６において逆変換がなされ画像が復号される。復号された画像は、一方では出力画像として外部に出力され、他方では、第１のフレームメモリ２０７に格納される。第１のフレームメモリ２０７に格納されたフレームは、後続のＤＶＣブロック（もしくは後続のフレームのＤＶＣブロック）の復号において、復号対象ブロックの予測画像の生成に用いることができる。

逆量子化部２１０に入力された量子化済みの変換係数は、逆量子化部２１０で逆量子化され、逆変換部２１１で逆変換される。逆量子化部２１０での逆量子化は予測信号を用いないものであり、動画像符号化装置１００の逆量子化部１１０で説明した処理と同じ処理である。逆変換により復号されたブロックは、第２のフレームメモリ２１２に格納される。第２のフレームメモリ２１２に格納されたフレームは、後続の予測ブロック（もしくは後続のフレームの予測ブロック）の復号において、復号対象ブロックの予測画像の生成に用いることができる。

このように、本発明の動画像復号装置２００は、その主たる特徴として、逆量子化を行うために、予測信号（付加的情報復号により得た予測画像）を用いる逆量子化を行う再構成部２０５と、予測信号（付加的情報復号により得た予測画像）を用いない逆量子化を行う逆量子化部２１０とを設けている。予測信号を用いない逆量子化を行う逆量子化部２１０に対応する部位は、動画像符号化装置１００で例示したように動画像符号化装置側にも備えることができることから、動画像符号化装置と動画像復号装置で同じ参照画像用の画像を得ることができる。

復号対象ブロックが予測ブロックである場合には、可変長符号復号部２１７により、予測画像を生成するための情報と量子化された変換係数が復号される。予測画像を生成するための情報（例えば動きベクトル）は、予測画像生成部２１３に入力される。予測画像生成部２１３は、予測画像を生成するための情報を用いて第２のフレームメモリ２１２に格納されたフレームを参照して予測画像を生成する。予測画像生成部２１３は、予測画像を生成するための情報が動きベクトルである場合には動き補償により予測画像を生成し、予測画像を生成するための情報がイントラ予測モードの場合には、イントラ予測により予測画像を生成する。生成された予測画像は加算部２２０に入力される。

可変長符号復号部２１７から入力された量子化された変換係数は、逆量子化部２１８により逆量子化され、逆変換部２１９により逆変換されることで、差分画像が得られる。得られた差分画像は、加算部２２０に出力される。加算部２２０では差分画像と予測画像の和により復号対象ブロックが復号される。復号されたブロックは、第１のフレームメモリ２０７及び第２のフレームメモリ２１２に格納されるとともに、出力画像として外部に出力される。

出力画像は、加算部２２０からの出力である復号された予測ブロックと、逆変換部２０６からの出力である復号されたＤＶＣブロックと、イントラ復号部２０１からの出力である復号されたキーフレームとでなる。予測ブロックとＤＶＣブロックとは、符号振り分け部２３２での振り分けに対応するように出力ブロック振り分け部２３３で振り分けられる。また、キーフレームと出力ブロック振り分け部２３３からの出力であるキーフレーム以外のフレームとは、出力フレーム振り分け部２３１で振り分けられ、出力される。

以上、図３の構成例を挙げて説明したように、本発明に係る動画像復号装置は、ＤＶＣ符号化された画像信号を復号することが可能な装置であって、次の予測符号化復号手段、付加的情報利用復号手段（ＤＶＣ符号復号手段）、及び逆量子化手段を備える。

予測符号化復号手段は、第２のフレームメモリ２１２、予測画像生成部２１３、可変長符号復号部２１７、逆量子化部２１８、逆変換部２１９、及び加算部２２０で例示したように、復号対象の画像信号のうち予測符号化された画像信号に対して、予測符号化復号用フレームメモリ（フレームメモリ２１２）に格納されたフレームを参照して予測信号を生成し、予測符号化復号を行う。また、予測符号化復号手段の一部としては、イントラ復号部２０１で例示したように、予測符号化復号時にキーフレームを利用する手段も有する。予測符号化復号時に参照されるフレームとしては、予測符号化復号後の加算部２２０からの出力の他に、イントラ復号部２０１からのキーフレーム、並びに後述の逆量子化手段で生成されたＤＶＣブロックのフレームが含まれる。

付加的情報利用復号手段は、変換部２０２、量子化部２０３、付加的情報利用復号部２０４、再構成部２０５、逆変換部２０６、第１のフレームメモリ２０７、及び予測画像生成部２０８で例示したように、復号対象の画像信号のうちＤＶＣ符号化により符号化された画像信号に対して、予測信号（ＤＶＣ符号化部分の予測画像）を生成した上で、付加的情報による復号である付加的情報復号（誤り訂正等）を実行し、予測信号（ＤＶＣ符号化部分の予測画像）を用いた逆量子化を実行することで、局所復号画像のフレームを生成する。また、付加的情報利用復号手段の一部としては、イントラ復号部２０１で例示したように、付加的情報利用復号時にキーフレームを利用する手段も有する。また、符号振り分け部２３２は、復号対象の画像信号に対して、画像を示すフレームを分割したブロック単位で、付加的情報利用復号手段で復号する対象の画像信号と予測符号化復号手段で復号する対象の画像信号とを振り分けるブロック振り分け手段の一例である。

逆量子化手段は、逆量子化部２１０及び逆変換部２１１で例示したように、付加的情報復号により得た信号に対し、予測信号（ＤＶＣ符号化部分の予測画像）を用いない逆量子化を行って、予測符号化復号用フレームメモリ（第２のフレームメモリ２１２）に格納する。このように、予測信号を用いた逆量子化（再構成）により復号画像を生成するだけでなく、予測信号を用いない逆量子化も行って予測符号化復号用フレームメモリに格納することにより、ＤＶＣ符号化された部分も予測符号化復号時に参照フレームとすることができる。

以上説明したように、本発明の動画像復号装置は、ＤＶＣ符号化されるブロックの復号のために、予測信号を用いた逆量子化を行う手段に加え予測信号を用いない逆量子化を行う手段を備えることにより、予測信号を用いない逆量子化を行う手段を備えた動画像符号化装置においてＤＶＣ符号化における逆量子化で生成される局所復号画像と同じ復号画像を得ることができる。従って、本発明の動画像復号装置では、予測符号化とＤＶＣ符号化を併用した際に、ＤＶＣ符号化で符号化した部分を予測符号化復号時に参照フレームとして利用することができる。また、このような利用を可能にしたことから、動画像符号化装置の効果として説明した「キーフレームの間隔を長くすること」及び「予測符号化の効率を高めること」を実現した符号化データを、復号することができる。

以上、例示した本発明に係る動画像符号化装置／動画像復号装置は、全てハードウェアで構成してもよいが、その一部をソフトウェア（ファームウェアを含む）によって構成してもよい。このような構成を実現する一例として、マイクロコンピュータ等のコンピュータを利用する場合には、ＣＰＵ、メモリ、バス、インターフェース、周辺装置などから構成されるハードウェアと、これらのハードウェア上にて実行可能なソフトウェア（符号化プログラム／復号プログラムも含む）を挙げることができる。ＣＰＵはこのソフトウェアを実行することで他のハードウェアを制御する。具体的には、ＲＯＭに格納されたソフトウェアをメモリ上に展開し、展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェースを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される。上述した各実施の形態における処理は、上記ソフトウェアとしてその処理手順をＣＰＵに実行させるためのプログラムを組み込み、実行させることによって、実現できる。また、上記ソフトウェアは、記録媒体に格納して配布してもよいし、インターネット等のネットワーク経由や放送波に載せて配信してもよい。

また、上述した動画像符号化装置及び／又は動画像復号装置は、ビデオカメラをはじめ、モバイル端末の動画撮影機能の一部として搭載することができる。また、上述した動画像符号化装置は、放送波による放送やインターネット等のネットワーク経由による配信に際して動画像を符号化する装置に組み込むことができ、上述した動画像復号装置は、その放送や配信により取得した動画像を復号するチューナ、テレビ装置、各種レコーダ、パーソナルコンピュータ（ＰＣ）といった装置に組み込むことができる。さらに、上述した動画像符号化装置、動画像復号装置は、それぞれ、他の符号化形式で放送や配信などにより取得した動画像を復号しそれを再符号化して格納する際の装置として、格納された再符号化データを復号して再生する装置として、各種レコーダやＰＣ等に組み込むことができる。

また、本発明の動画像符号化装置及び動画像復号装置について説明したが、本発明は、動画像の画像信号をＤＶＣ符号化することが可能な動画像符号化方法としての形態や、ＤＶＣ符号化された動画像の画像信号を復号することが可能な動画像復号方法としての形態も採り得る。これらの方法は、動画像符号化装置や動画像復号装置内の各部によって実現でき、また上記ソフトウェアでも実現できる。本発明の動画像符号化方法及び動画像復号方法について簡単に説明する。

この動画像符号化方法は、動画像符号化装置の処理について説明したように、予測符号化を行う画像信号に対して、予測符号化用フレームメモリに格納されたフレームを参照して予測信号を生成し予測符号化を行う予測符号化ステップと、ＤＶＣ符号化を行う画像信号に対して、その画像信号を量子化して付加的情報を生成することでＤＶＣ符号化を行うＤＶＣ符号化ステップと、量子化された信号に対して予測信号を用いない逆量子化を行って局所復号画像のフレームを生成し、予測符号化用フレームメモリに格納する逆量子化ステップと、を含む。本発明の動画像符号化方法の他の応用例については、動画像符号化装置について説明したのと同様である。

また、この動画像復号方法は、動画像復号装置の処理について説明したように、予測符号化された画像信号に対して、予測符号化復号用フレームメモリに格納されたフレームを参照して予測信号を生成し、予測符号化復号を行う予測符号化復号ステップと、ＤＶＣ符号化により符号化された画像信号に対して、予測信号を生成した上で、付加的情報による復号である付加的情報復号を実行し、予測信号を用いた逆量子化を実行することで、局所復号画像のフレームを生成する付加的情報利用復号ステップと、その付加的情報復号により得た信号に対し、予測信号を用いない逆量子化を行って局所復号画像のフレームを生成し予測符号化復号用フレームメモリに格納する逆量子化ステップと、を含む。本発明の動画像復号方法の他の応用例については、動画像復号装置について説明したのと同様である。

本発明の一実施形態に係る動画像符号化装置の構成例を示すブロック図である。 図１の動画像符号化装置におけるＷＺフレームの参照方法について説明するための図である。 本発明の一実施形態に係る動画像復号装置の構成例を示すブロック図である。 本発明のキーフレームとＷＺフレームの関係を示す図である。 コセットを用いたＤＶＣ符号化の方式を説明するための図である。 従来のＤＶＣ符号化を用いた動画像符号化装置及び動画像復号装置を示すブロック図である。 通常の逆量子化及び予測信号を用いた逆量子化の方法を説明するための図である。

符号の説明

１００…動画像符号化装置、１０１…イントラ符号化部、１０２…変換部、１０３…量子化部、１０４…付加的情報生成部、１１０…逆量子化部、１１１…逆変換部、１１２…フレームメモリ、１１３…予測画像生成部、１１４…減算部、１１５…変換部、１１６…量子化部、１１７…可変長符号化部、１１８…逆量子化部、１１９…逆変換部、１２０…加算部、１２１…イントラ復号部、１３１…フレーム振り分け部、１３２…ブロック振り分け部、１３３…出力振り分け部、２００…動画像復号装置、２０１…イントラ復号部、２０２…変換部、２０３…量子化部、２０４…付加的情報利用復号部、２０５…再構成部、２０６…逆変換部、２０７…第１のフレームメモリ、２０８…予測画像生成部、２１０…逆量子化部、２１１…逆変換部、２１２…第２のフレームメモリ、２１３…予測画像生成部、２１７…可変長符号復号部、２１８…逆量子化部、２１９…逆変換部、２２０…加算部、２３１…出力フレーム振り分け部、２３２…符号振り分け部、２３３…出力ブロック振り分け部、Ｋ１，Ｋ２，Ｋ３…キーフレーム、ＷＺ１…ＷＺフレーム、ＭＶ０，ＭＶ１，ＭＶ２…動きベクトル。

Claims (5)

1. 動画像の画像信号をＤＶＣ符号化することが可能な動画像符号化装置であって、
   符号化対象の画像信号に対して、画像を示すフレームを分割したブロック単位で、ＤＶＣ符号化を行う画像信号と予測符号化を行う画像信号とを振り分けるブロック振り分け手段と、
   前記予測符号化を行う画像信号に対して、予測符号化用フレームメモリに格納されたフレームを参照して予測信号を生成し、予測符号化を行う予測符号化手段と、
   前記ＤＶＣ符号化を行う画像信号に対して、該画像信号を量子化し量子化された信号から付加的情報を生成することでＤＶＣ符号化を行うＤＶＣ符号化手段と、
   前記ＤＶＣ符号化手段で量子化された信号に対して予測信号を用いない逆量子化を行って局所復号画像のフレームを生成し、前記予測符号化用フレームメモリに格納する局所復号画像生成手段と、
   を備えたことを特徴とする動画像符号化装置。
2. ＤＶＣ符号化された動画像の画像信号を復号することが可能な動画像復号装置であって、
   復号対象の画像信号に対して、画像を示すフレームを分割したブロック単位で、ＤＶＣ符号化により符号化された画像信号と予測符号化された画像信号とを振り分けるブロック振り分け手段と、
   前記予測符号化された画像信号に対して、予測符号化復号用フレームメモリに格納されたフレームを参照して予測信号を生成し、予測符号化復号を行う予測符号化復号手段と、
   前記ＤＶＣ符号化により符号化された画像信号に対して、予測信号を生成した上で、付加的情報による復号である付加的情報復号を実行し、該付加的情報復号により得た信号に対して予測信号を用いた逆量子化を実行することで、局所復号画像のフレームを生成する付加的情報利用復号手段と、
   前記付加的情報利用復号手段における付加的情報復号により得た信号に対し、予測信号を用いない逆量子化を行って局所復号画像のフレームを生成し、前記予測符号化復号用フレームメモリに格納する逆量子化手段と、
   を備えたことを特徴とする動画像復号装置。
3. 前記付加的情報利用復号手段は、予測信号を用いた逆量子化により生成された局所復号画像のフレームを、前記予測符号化復号用フレームメモリとは異なるＤＶＣ復号用フレームメモリに格納し、ＤＶＣ符号化により符号化された画像信号に対する前記予測信号を生成する際に該ＤＶＣ復号用フレームメモリを参照することを特徴とする請求項２に記載の動画像復号装置。
4. 動画像の画像信号をＤＶＣ符号化することが可能な動画像符号化方法であって、
   符号化対象の画像信号に対して、画像を示すフレームを分割したブロック単位で、ＤＶＣ符号化を行う画像信号と予測符号化を行う画像信号とを振り分けるブロック振り分けステップと、
   前記予測符号化を行う画像信号に対して、予測符号化用フレームメモリに格納されたフレームを参照して予測信号を生成し、予測符号化を行う予測符号化ステップと、
   前記ＤＶＣ符号化を行う画像信号に対して、該画像信号を量子化し量子化された信号から付加的情報を生成することでＤＶＣ符号化を行うＤＶＣ符号化ステップと、
   前記ＤＶＣ符号化ステップで量子化された信号に対して予測信号を用いない逆量子化を行って局所復号画像のフレームを生成し、前記予測符号化用フレームメモリに格納する逆量子化ステップと、
   を含むことを特徴とする動画像符号化方法。
5. ＤＶＣ符号化された動画像の画像信号を復号することが可能な動画像復号方法であって、
   復号対象の画像信号に対して、画像を示すフレームを分割したブロック単位で、ＤＶＣ符号化により符号化された画像信号と予測符号化された画像信号とを振り分けるブロック振り分けステップと、
   前記予測符号化された画像信号に対して、予測符号化復号用フレームメモリに格納されたフレームを参照して予測信号を生成し、予測符号化復号を行う予測符号化復号ステップと、
   前記ＤＶＣ符号化により符号化された画像信号に対して、予測信号を生成した上で、付加的情報による復号である付加的情報復号を実行し、該付加的情報復号により得た信号に対して予測信号を用いた逆量子化を実行することで、局所復号画像のフレームを生成する付加的情報利用復号ステップと、
   前記付加的情報利用復号ステップにおける付加的情報復号により得た信号に対し、予測信号を用いない逆量子化を行って局所復号画像のフレームを生成し、前記予測符号化復号用フレームメモリに格納する逆量子化ステップと、
   を含むことを特徴とする動画像復号方法。

Images