JPWO2009128208A1 - 動画像符号化装置、動画像復号化装置、動画像符号化方法、および動画像復号化方法 - Google Patents

Abstract

動画像符号化装置は、画面間予測を行って予測差分を計算する画面間予測部１０６と、複数フレームに渡る対象領域の動き情報をモデル化する動き記述部１１１と、予測差分に対して符号化を行う周波数変換部１０９および量子化処理部１１０と、動き記述部１１１によるモデル化の情報に基づいて、記号の発生確率に応じた可変長符号化を行う可変長符号化部１１３とを有し、動き記述部１１１は、複数フレーム内で、開始フレームおよび終了フレームを指定し、開始フレームと終了フレームとの間の対象領域の動きを時間関数によってモデル化する。

Description

本発明は動画像を符号化する動画像符号化技術および動画像を復号化する動画像復号化技術に関する。

大容量の動画像情報をデジタルデータ化して記録、伝達する手法として、さまざまな規格が国際標準の符号化方式として策定されている。

このような符号化方式のいくつかは、デジタル衛星放送やＤＶＤ、携帯電話やデジタルカメラなどにおける符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなってきている。

これらの規格では、符号化処理が完了した画像情報を利用して符号化対象画像をブロック単位で予測し、原画像との予測差分を符号化することによって、動画像の持つ冗長性を除いて符号量を減らしている。

特に、対象画像とは別の画像を参照する画面間予測では、符号化対象ブロックと相関の高いブロックを参照画像中から探索することによって、高精度な予測を可能としている。

しかしながら、従来の画面間予測では、予測差分に加えて、ブロック探索の結果を動きベクトルとして符号化する必要があり、符号量のオーバーヘッドが発生してしまう。

このような画面間予測を行う規格の１つであるＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格では、動きベクトルの符号量を減らすために、動きベクトルに対する予測技術を導入している。

すなわち、動きベクトルを符号化する際には、対象ブロックの周辺に位置する符号化済みのブロックを利用して対象ブロックの動きベクトルを予測し、予測ベクトルと動きベクトルの差分（差分ベクトル）を可変長符号化する。

これにより動きベクトルの符号量を大幅に削減することに成功したが、Ｈ．２６４／ＡＶＣによる動きベクトルの予測精度は十分であるとは言えず、特に動く物体が複数存在するなど動きの複雑な画像に対しては、依然として動きベクトルに多くの符号量が必要であるといった問題があった。

そこで、本発明の目的は、差分ベクトルの算出方法を改善することにより、動きベクトルの符号量を減少させて圧縮効率を向上させることができる動画像符号化装置、動画像復号化装置、動画像符号化方法、および動画像復号化方法を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

すなわち、代表的なものの概要は、動画像符号化装置において、複数フレーム内で、開始フレームおよび終了フレームを指定し、開始フレームと終了フレームとの間の対象領域の動きを時間関数によってモデル化する動き記述部を備えたものである。

また、動画像復号化装置において、開始フレームと終了フレームとの間の対象領域の動きがモデル化された時間関数に基づいて、対象領域の動きベクトルを復号化する可変長復号化部を備えたものである。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

すなわち、代表的なものによって得られる効果は、差分ベクトルの算出方法を改善することにより、動きベクトルの符号量を減少させて圧縮効率を向上させることができ、少ない符号量で高画質の映像を提供することができる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

まず、図１および図２により、本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の前提となる画面間予測処理について説明する。図１は本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の前提となる画面間予測処理を説明するための説明図であり、Ｈ．２６４／ＡＶＣによる画面間予測処理の動作について概念的に示したものである。図２は本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の前提となる画面間予測処理の予測ベクトルの算出を説明するための説明図であり、予測ベクトルを算出する方法について概念的に示したものである。

Ｈ．２６４／ＡＶＣでは、符号化対象画像に対してラスタースキャンの順序に従ってブロック単位による符号化を行う。

画面間予測を行う際には、図１に示すように、符号化対象画像５０３と同じ映像５０１に含まれる符号化済みの画像の復号画像を参照画像５０２とし、対象画像中の対象ブロック５０４と相関の高いブロック５０５を参照画像中から探索する。

このとき、両ブロックの差分として計算される予測差分に加えて、両ブロックの座標値の差分を動きベクトル５０６として符号化する。一方復号化の際には上記の逆の手順を行えば良く、復号化された予測差分を参照画像中のブロック５０５に加えることにより、復号化画像を取得できる。

Ｈ．２６４／ＡＶＣでは、以上で説明した動きベクトルによる符号量のオーバーヘッドを低減するために、動きベクトルに対する予測技術を導入している。すなわち、動きベクトルを符号化する際には、対象ブロックの周辺に位置する符号化済みのブロックを利用して対象ブロックの動きベクトルを予測し、予測ベクトルと動きベクトルの差分ベクトルを符号化する。このとき、差分ベクトルの大きさはほぼ０に集中するため、これを可変長符号化することにより符号量を削減できる。

この予測ベクトルの算出は、図２に示すように、対象ブロック６０１の左側、上側、右上側に隣接する符号化済みのブロックをそれぞれブロックＡ６０２、ブロックＢ６０３、ブロックＣ６０４とし、各ブロックにおける動きベクトルをＭＶＡ、ＭＶＢ、ＭＶＣとする。

このとき、予測ベクトルＰＭＶは、引数として指定された複数の値の中央値を返す関数Ｍｅｄｉａｎを用いて予測ベクトルＰＭＶ６０５のように算出される。さらに、差分ベクトルＤＭＶを対象ブロックの動きベクトルＭＶと予測ベクトルＰＭＶの差分ベクトル６０６として算出し、続いてＤＭＶを可変長符号化する。

以上のように、Ｈ．２６４／ＡＶＣでは、動きベクトルに対する予測技術を導入することにより、動きベクトルに必要な符号量を大幅に削減することが可能になった。しかし、Ｈ．２６４／ＡＶＣの場合、予測ベクトルを算出する際に空間方向の近傍ブロックしか考慮しておらず、必ずしもオブジェクトの動きを反映できているとは言えなかった。

そのため、特に動く物体が複数存在する画像において、動きベクトルの予測精度が十分とは言えず、依然として動きベクトルに多くの符号量が必要であった。

本実施の形態では、後述するように、符号化対象領域の動きを時間関数としてモデル化して予測ベクトルの算出に利用することにより、動きベクトルに対する予測精度を向上できるようになった。

次に、図３〜図７により、本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法のモデル化について説明する。図３は本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の動きのモデル化の一例を示す図、図４は本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の動きベクトルの符号化の一例を示す図、図５は本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の開始フレームと終了フレームの選択の一例を示す図、図６は本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の動きのモデル化の他の例を示す図、図７は本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の開始フレームと終了フレームの選択の他の例を示す図である。

図３に示すように、本実施の形態では、まず、間にｎ−１枚のフレーム７０２〜７０４を挟んで開始フレーム７０１と終了フレーム７０５を用意する。続いて、終了フレーム内の特定領域７０８に対応する領域７０７を開始フレーム内で探索し、これら対応領域の座標の差分値に基づいて、対象領域の動きを時間関数ＭＶＭｔ７０６としてモデル化する。

この動きのモデルを利用して、開始フレームと終了フレームに挟まれるフレーム７０２〜７０４における動きベクトルの符号化を行う。さらに、モデル化された動き情報を別途符号化し、ストリームに格納する。

例えば、図３に示した例では、対象領域の動きを直線的にモデル化し、時刻ｔの一次関数によって表している。この場合、関数ＭＶＭｔ７０６の係数Ａ、Ｂ、Ｃ、Ｄを動きパラメータとして符号化する。

さらに、例えば、開始フレーム番号や終了フレーム番号など、関数ＭＶＭｔによる動きのモデル化が適用可能なフレームの範囲を特定するための情報、および、ブロック番号など、動きのモデル化が適用可能な領域情報を符号化する。

このとき、対象領域の動きをどのようにモデル化するかについては特に問わない。すなわち、図３に示した例では、対象領域の動きを直線によって近似しているが、これを例えば楕円、二次曲線放物線、ベジエ曲線、クロソイド曲線、サイクロイド、反射、振り子運動などによって近似しても構わない。

また、図４においては、関数ＭＶＭｔによって表された動きのモデルを利用して動きベクトルを符号化しており、ここでは、開始フレーム時刻ｔ＝０とするフレーム８０１と終了フレーム時刻ｔ＝ｎとするフレーム８０３に挟まれたフレーム時刻ｔ＝ｍとするフレーム８０２を符号化する場合について示している。

すでに説明したとおり、対象ブロック８０８の動きベクトルＭＶ８０４を符号化する際には、開始フレーム内の領域８０７と、それに対応する終了フレーム内の領域８０９を利用してモデル化された動きＭＶＭｔ８０５を用いる。

すなわち、時刻ｔ＝ｍにおける動きＭＶＭｍを動きベクトルＭＶの予測値とし、差分ベクトルＤＭＶ８０６を動きベクトルＭＶと予測ベクトルＭＶＭｍの差分によって算出する。さらに、Ｈ．２６４／ＡＶＣと同様にＤＭＶを可変長符号化する。

以上では、開始フレームと終了フレームに挟まれたフレームにおける動きベクトルの符号化方法を示したが、開始フレームと終了フレームにおける動きベクトルの符号化方法は特に問わない。しかし、例えば、図２に示すＨ．２６４／ＡＶＣによる方法と同様に、対象ブロックの周辺ブロックを参照して動きベクトルを予測する方法を用いると効果的である。

また、開始フレームと終了フレームの選択方法については特に問わないが、例えば、図５に示す例では、画面内予測のみが利用可能なＩピクチャ９０１と、１枚の参照画像を利用した画面間予測が可能なＰピクチャ９０４、９０７と、２枚の参照画像を利用した画面間予測が可能なＢピクチャ９０２、９０３、９０５、９０６を利用して符号化する場合について示している。

この場合、Ｉピクチャ９０１が符号化された後、これを参照してＰピクチャ９０４が符号化される。続いて、符合化済みの２枚の画像９０１、９０４を参照して、Ｂピクチャ９０２、９０３が符号化される。同様にして、Ｐピクチャ９０７が次に符号化され、続いて２枚の画像９０４、９０７を参照してＢピクチャ９０５、９０６が符号化される。

このようなピクチャ構造においては、例えば、次のように本実施の形態を適用すると効果的である。すなわち、まず、Ｉピクチャ９０１とＰピクチャ９０４に対して符号化を行うと共に、この２枚の画像をそれぞれ開始フレーム、終了フレームとして動きのモデル化を行う。

そして、このモデルを利用して間のＢピクチャ９０２、９０３を符号化する。続いて、次のＰピクチャ９０７の符号化を行うとともに、この２枚のＰピクチャ９０４、９０７をそれぞれ開始フレーム、終了フレームとして動きのモデル化を行う。そして、このモデルを利用して間のＢピクチャ９０５、９０６を符号化する。

以上のように開始フレームと終了フレームを選択することにより、Ｈ．２６４／ＡＶＣと比べて特に大きな遅延を起こすことなく符号化を行うことができる。

また、図６に示すように、動きのモデルを利用した符号化と、動きのモデルを利用しない符号化を組み合わせても良い。ここでは、最初のフレーム１３０１を開始フレームとし、画像の性質に応じて終了フレームを選択する。

この例では、開始フレームとの間に３枚のフレーム１３０２、１３０３、１３０４を挟んで終了フレーム１３０５を指定している。終了フレームの決定する方法については特に問わないが、例えば、対象領域の動きが、図３の動きモデルＭＶＭｔ７０６によって表すことができるフレームの範囲を特定し、それらのフレームを開始フレームと挟むように終了フレームを決定すると効果的である。

また、対象領域の動きが、図３の動きモデルＭＶＭｔ７０６等によってモデル化できない場合には、フレーム１３０６、１３０７のように、動きのモデル化を行わずに、例えば、図２に示すような従来方法によって動きベクトルを符号化しても良い。こうすることにより、効率的に符号化を行うことができる。

また、開始フレームと終了フレームの選択方法の他の例として、図７に示す。ここではピクチャの種類は特に問わないが、簡単のためＩピクチャとＰピクチャのみを利用する場合について示している。

この場合、符号化は映像の表示順序と同じ順番（１００１→１００２→１００３→・・・）で行われる。この例では、まず、Ｉピクチャ１００１を符号化した後、これを開始フレーム、ｎ−１枚後の画像１００４を終了フレームとして、動きのモデル化を行う。

このとき、画像１００４に対しては、動きのモデル化を行うための対応領域探索のみを行い、符号化処理は行わない。続いて、このモデルを利用して、間の画像（１００２、１００３、・・）を符号化する。

この場合、画像１００１を符号化した後で画像１００４を先読みする必要があるため符号化を行う際に大きな遅延が発生することになるが、開始フレームと終了フレームの間に多くの画像を挟むことができるようになり、動きのモデル化の効率を高めることができるという利点がある。

上記の例は、いずれも動きのモデル化をブロック単位で行っているが、それ以外にも例えば画像の背景から分離したオブジェクト単位でモデル化を行っても良い。

次に、図８により、本発明の一実施の形態に係る動画像符号化装置の構成および動作について説明する。図８は本発明の一実施の形態に係る動画像符号化装置の構成を示す構成図である。

図８において、動画像符号化装置は、入力された原画像１０１を保持する入力画像メモリ１０２、入力画像を小領域に分割するブロック分割部１０３、ブロック単位で画面内予測を行う画面内予測部１０５、動き探索部１０４にて検出された動き量を基にブロック単位で画面間予測を行う画面間予測部１０６、画像の性質に合った予測符号化手段（予測方法およびブロックサイズ）を決定するモード選択部１０７、予測差分を生成するための減算部１０８、予測差分に対して符号化を行う周波数変換部１０９および量子化処理部１１０、対象領域における動きのモデル化を行う動き記述部１１１、モデル化された動きの情報を保持する動き情報メモリ１１２、記号の発生確率に応じた符号化を行うための可変長符号化部１１３、一度符号化した予測差分を復号化するための逆量子化処理部１１４および逆周波数変換部１１５、復号化された予測差分を用いて復号化画像を生成するための加算部１１６、復号化画像を保持して後の予測に活用するための参照画像メモリ１１７から構成されている。

入力画像メモリ１０２は、原画像１０１の中から１枚の画像を符号化対象画像として保持し、これをブロック分割部１０３にて細かなブロックに分割し、動き探索部１０４、画面内予測部１０５、および画面間予測部１０６に渡す。

動き探索部１０４では、参照画像メモリ１１７に格納されている復号化済み画像を用いて該当ブロックの動き量を計算し、動きベクトルを画面間予測部１０６に渡す。画面内予測部１０５および画面間予測部１０６では画面内予測処理および画面間予測処理をいくつかの大きさのブロック単位で実行し、モード選択部１０７にてどちらか最適な予測方法を選ぶ。

続いて減算部１０８では最適な予測符号化手段（予測方法およびブロックサイズ）による予測差分を生成し、周波数変換部１０９に渡す。周波数変換部１０９および量子化処理部１１０では、送られてきた予測差分に対して指定された大きさのブロック単位でそれぞれＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）などの周波数変換および量子化処理を行い、可変長符号化部１１３および逆量子化処理部１１４に渡す。

また、動き記述部１１１では、開始フレームおよび終了フレームに関する情報（画像情報、動きベクトル等）に基づいて対象領域の動きを時間関数によってモデル化し、開始フレーム番号、終了フレーム番号、動きパラメータなどの情報を動き情報メモリ１１２に送り、記憶する。

さらに、可変長符号化部１１３では、周波数変換係数によって表される予測差分情報と、例えば、画面内予測を行う際に利用した予測方向や画面間予測を行う際に利用した動きベクトル、および動きのモデル化に利用する動きパラメータなど、復号化に必要な情報を、記号の発生確率に基づいて可変長符号化を行って符号化ストリームを生成する。

このとき、開始フレームと終了フレーム以外のフレームにおける動きベクトルの符号化には、動き情報メモリ１１２に格納されている動きモデルが利用される。また、逆量子化処理部１１４および逆周波数変換部１１５では、量子化後の周波数変換係数に対して、それぞれ逆量子化およびＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ：逆ＤＣＴ）などの逆周波数変換を施し、予測差分を取得して加算部１１６に送る。続いて加算部１１６により復号化画像を生成して参照画像メモリ１１７に格納する。

次に、図９により、本発明の一実施の形態に係る動画像復号化装置の構成および動作について説明する。図９は本発明の一実施の形態に係る動画像復号化装置の構成を示す構成図である。

図９において、動画像復号化装置は、例えば、図８に示す動画像符号化装置によって生成された符号化ストリーム２０１に対して可変長符号化の逆の手順を踏む可変長復号化部２０２、予測差分を復号化するための逆量子化処理部２０３および逆周波数変換部２０４、動きパラメータや開始フレーム番号、終了フレーム番号など動きのモデル化に必要な情報を蓄積するための動き情報メモリ２０５、画面間予測を行う画面間予測部２０６、画面内予測を行う画面内予測部２０７、復号化画像を取得するための加算部２０８、復号化画像を一時的に記憶しておくための参照画像メモリ２０９から構成されている。

可変長復号化部２０２では、符号化ストリーム２０１を可変長復号化し、予測差分の周波数変換係数成分と、ブロックサイズや動きベクトル、および動きパラメータなど予測処理に必要な情報を取得する。

前者の予測差分情報に対しては逆量子化処理部２０３に、後者の予測処理に必要な情報に対しては、動き情報メモリ２０５、画面間予測部２０６、または画面内予測部２０７に送られる。

続いて、逆量子化処理部２０３および逆周波数変換部２０４では、予測差分情報に対してそれぞれ逆量子化と逆周波数変換を施して復号化を行う。また、動き情報メモリ２０５では、動きパラメータなど動きのモデル化に必要な情報を記憶する。

続いて画面間予測部２０６または画面内予測部２０７では、可変長復号化部２０２から送られてきた情報を基に参照画像メモリ２０９を参照して予測処理を実行し、加算部２０８にて復号化画像を生成するとともに、復号化画像を参照画像メモリ２０９に格納する。

次に、図１０および図１１により、本発明の一実施の形態に係る動画像符号化装置の動き記述部の構成および動作について説明する。図１０は本発明の一実施の形態に係る動画像符号化装置動き記述部の構成の一例を示す構成図、図１１は本発明の一実施の形態に係る動画像符号化装置動き記述部の構成の他の例を示す構成図である。

図１０において、動き記述部１１１は、開始フレームおよび終了フレーム原画像もしくは対象画像３０１を入力し、開始フレームを記憶するための開始フレームメモリ３０２、開始フレームと終了フレームの間で対応領域の探索を行う動き探索部３０３、探索結果に基づいて動きのモデル化を行う動き情報モデル化部３０４から構成され、動きパラメータ３０５などの動き情報を出力する。

動き記述部１１１には、まず開始フレームの原画像もしくは復号化画像が入力され、開始フレームメモリ３０２に記憶される。続いて、終了フレームの原画像もしくは復号化画像が入力されると、動き探索部３０３では、開始フレームメモリ３０２に記憶されている開始フレームと、入力された終了フレームの間で対応領域の探索が行われ、探索結果が動き情報モデル化部３０４に渡される。

動き情報モデル化部３０４では、探索結果に基づいて動きのモデル化が行われる。動き情報モデル化部３０４では、例えば、図１０の関数ＭＶＭｔ３０６によって対象領域の動きをモデル化する。

図１１において、動き記述部１１１は、開始フレームおよび終了フレームを符号化する際に算出した動きベクトル４０１を入力し、開始フレームの動きベクトルを記憶するための開始フレームメモリ４０２、開始フレームの動きベクトルと終了フレームの動きベクトルから対象領域の動きのモデル化を行う動き情報モデル化部４０３から構成され、動きパラメータ４０４などの動き情報を出力する。

動き記述部１１１には、まず開始フレームを符号化する際に算出した動きベクトルが入力され、開始フレームメモリ４０２に記憶される。続いて、終了フレームを符号化する際に算出した動きベクトルが入力されると、動き情報モデル化部４０３では、両ベクトルに基づいて動きのモデル化が行われる。動き情報モデル化部４０３では、例えば、図１１の関数ＭＶＭｔ４０５によって対象領域の動きをモデル化する。

次に、図１２により、本発明の一実施の形態に係る動画像符号化装置の１フレームの符号化処理手順について説明する。図１２は本発明の一実施の形態に係る動画像符号化装置の１フレームの符号化処理手順を示すフローチャートである。

まず、符号化対象となるフレーム内に存在するすべてのブロックに対して、以下の処理をループ１として行う（ステップ１１０１）。すなわち、該当ブロックに対して一度すべての符号化モード予測方法とブロックサイズの組み合わせに対して、ループ２として予測を実行する（ステップ１１０２）。

ここでは、画面内予測モードかを判断し（ステップ１１０３）、ステップ１１０３の判断に応じて、画面内予測処理（ステップ１１０４）、または画面間予測処理（ステップ１１０５）を行い、予測差分の計算を行う。

さらに、画面間予測を行う際には、予測差分の他に動きベクトルを符号化する。ここでは、開始フレームかを判断し（ステップ１１０６）、ステップ１１０６で対象フレームが開始フレームであれば、画面間予測に利用した動きベクトルを、例えば、図１０に示した方法にて保存する（ステップ１１０７）。

一方、ステップ１１０６で対象フレームが開始フレームでなければ、終了フレームかを判断し（ステップ１１０８）、ステップ１１０８で対象フレームが終了フレームであれば、対応領域の動きベクトルと、保存されている開始フレームの動きベクトルとを利用して動きのモデル化を行い、動きパラメータを算出する（ステップ１１０９）。

また、ステップ１１０６、ステップ１１０８において、対象フレームが開始フレームでも終了フレームでもなければ、動きモデルを利用して差分ベクトルＤＭＶを算出する（ステップ１１１１）。

なお、開始フレームおよび終了フレームに対するＤＭＶの計算は、Ｈ．２６４／ＡＶＣによる従来方式によって行う（ステップ１１１０）。

続いて、予測差分に対して周波数変換処理（ステップ１１１２）、量子化処理（ステップ１１１３）、可変長符号化処理（ステップ１１１４）を行い、各符号化モードの画質歪と符号量を計算する。

以上の処理を、ループ２により、すべての符合化モードに対して終了すれば、以上の結果に基づいて最も符号化効率の良いモードを選択する（ステップ１１１５）。

なお、多数の符号化モードの中から最も符号化効率の高いものを選択する際には、例えば、画質歪みと符号量の関係から最適な符号化モードを決定するＲＤ−Ｏｐｔｉｍｉｚａｔｉｏｎ方式を利用することによって、効率良く符号化できる。

ＲＤ−Ｏｐｔｉｍｉｚａｔｉｏｎ方式の詳細については、以下の文献を参照のこと。
「Ｇ． Ｓｕｌｌｉｖａｎ ａｎｄ Ｔ．Ｗｉｅｇａｎｄ ： “Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ”， ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ， ｖｏｌ．１５， ｎｏ．６， ｐｐ．７４−９０， １９９８．」

続いて、選択された符号化モードに対して、量子化済みの周波数変換係数に逆量子化処理（ステップ１１１６）と逆周波数変換処理（ステップ１１１７）を施して予測差分を復号化し、復号化画像を生成して参照画像メモリに格納する（ステップ１１１８）。

以上の処理を、ループ１により、すべてのブロックに対して完了すれば、画像１フレーム分の符号化は終了する（ステップ１１１９）。

次に、図１３により、本発明の一実施の形態に係る動画像復号化装置の１フレームの符号化処理手順について説明する。図１３は本発明の一実施の形態に係る動画像復号化装置の１フレームの符号化処理手順を示すフローチャートである。

まず、１フレーム内のすべてのブロックに対して、以下の処理をループ１として行う（ステップ１２０１）。すなわち、入力ストリームに対して可変長復号化処理を施し（ステップ１２０２）、逆量子化処理（ステップ１２０３）および逆周波数変換処理（ステップ１２０４）を施して予測差分を復号化する。

続いて、画面内予測モードかを判断し（ステップ１２０５）、ステップ１２０５の判断に応じて、画面内予測処理（ステップ１２０６）、または画面間予測処理（ステップ１２１０）を行う。

なお、画面間予測を行う際には予測に先駆けて動きベクトルＭＶの復号化を行う必要がある。ここでは、開始フレームまたは終了フレームかを判断し（ステップ１２０７）、ステップ１２０７で、対象フレームが開始フレームまたは終了フレームであれば、Ｈ．２６４／ＡＶＣによる従来方式によってＭＶの復号を行う（ステップ１２０８）。

一方で、ステップ１２０７で、対象フレームが開始フレームでも終了フレームでもなければ、動きモデルを利用してＭＶの復号を行う（ステップ１２０９）。

以上の処理を、ループ１により、フレーム中のすべてのブロックに対して完了すれば、画像１フレーム分の復号化が終了する（ステップ１２１１）。

なお、本実施の形態では、周波数変換の一例としてＤＣＴを挙げているが、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散サイン変換）、ＷＴ（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：ウェーブレット変換）、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散フーリエ変換）、ＫＬＴ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：カルーネン−レーブ変換）など、画素間相関除去に利用する直交変換ならどんなものでも構わないし、特に周波数変換を施さずに予測差分そのものに対して符号化を行っても構わない。

さらに、可変長符号化も特に行わなくて良い。また、本実施の形態では、関数ＭＶＭｔを利用して予測ベクトルを算出していたが、この関数を用いて動きベクトル自体を表現しても良い。この場合、動きベクトルＭＶはＭＶＭｔと等しくなり、差分ベクトルＤＭＶを符号化する必要はない。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明は動画像を符号化する動画像符号化技術および動画像を復号化する動画像復号化技術に関し、動画像の符号化・復号化を行う装置に広く適用可能である。

本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の前提となる画面間予測処理を説明するための説明図である。 本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の前提となる画面間予測処理の予測ベクトルの算出を説明するための説明図である。 本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の動きのモデル化の一例を示す図である。 本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の動きベクトルの符号化の一例を示す図である。 本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の開始フレームと終了フレームの選択の一例を示す図である。 本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の動きのモデル化の他の例を示す図である。 本発明の一実施の形態に係る動画像符号化方法および動画像復号化方法の開始フレームと終了フレームの選択の他の例を示す図である。 本発明の一実施の形態に係る動画像符号化装置の構成を示す構成図である。 本発明の一実施の形態に係る動画像復号化装置の構成を示す構成図である。 本発明の一実施の形態に係る動画像符号化装置動き記述部の構成の一例を示す構成図である。 本発明の一実施の形態に係る動画像符号化装置動き記述部の構成の他の例を示す構成図である。 本発明の一実施の形態に係る動画像符号化装置の１フレームの符号化処理手順を示すフローチャートである。 本発明の一実施の形態に係る動画像復号化装置の１フレームの符号化処理手順を示すフローチャートである。

符号の説明

１０１…原画像、１０２…入力画像メモリ、１０３…ブロック分割部、１０４…動き探索部、１０５…画面内予測部、１０６…画面間予測部、１０７…モード選択部、１０８…減算部、１０９…周波数変換部、１１０…量子化処理部、１１１…動き記述部、１１２…動き情報メモリ、１１３…可変長符号化部、１１４…逆量子化処理部、１１５…逆周波数変換部、１１６…加算部、１１７…参照画像メモリ、２０１…符号化ストリーム、２０２…可変長復号化部、２０３…逆量子化処理部、２０４…逆周波数変換部、２０５…動き情報メモリ、２０６…画面間予測部、２０７…画面内予測部、２０８…加算部、２０９…参照画像メモリ、３０１…対象画像、３０２…開始フレームメモリ、３０３…動き探索部、３０４…動き情報モデル化部、３０５…動きパラメータ、３０６…動きのモデル化関数、４０１…動きベクトル、４０２…開始フレームメモリ、４０３…動き情報モデル化部、４０４…動きパラメータ、４０５…動きのモデル化関数、５０１…画像、５０２…参照画像、５０３…符号化対象画像、５０４，５０５…ブロック、６０１〜６０６…ブロック、７０１〜７０５…フレーム、７０６…動きのモデル化関数、７０７，７０８…領域、８０１〜８０３…フレーム、８０４…動きベクトルＭＶ、８０５…動きＭＶＭｔ、８０６…差分ベクトルＤＭＶ、８０７〜８０９…領域、９０１…Ｉピクチャ、９０４、９０７…Ｐピクチャ、９０２、９０３、９０５、９０６…Ｂピクチャ、１００１…Ｉピクチャ、１００２〜１００４…Ｉピクチャ、１３０１〜１３０７…フレーム。

Claims (12)

1. 画面間予測を行って予測差分を計算する画面間予測部と、
   複数フレームに渡る対象領域の動き情報をモデル化する動き記述部と、
   前記予測差分に対して符号化を行う周波数変換部および量子化処理部と、
   前記動き記述部による前記モデル化の情報に基づいて、記号の発生確率に応じた可変長符号化を行う可変長符号化部とを有し、
   前記動き記述部は、前記複数フレーム内で、開始フレームおよび終了フレームを指定し、前記開始フレームと前記終了フレームとの間の前記対象領域の動きを時間関数によってモデル化することを特徴とする動画像符号化装置。
2. 請求項１記載の動画像符号化装置において、
   前記可変長符号化部は、前記対象領域に対して、前記画面間予測を行う際に利用した動きベクトルと、前記動き記述部にて前記対象領域の動きをモデル化した前記時間関数によって算出されたベクトルの差分に対して可変長符号化を行うことを特徴とする動画像符号化装置。
3. 請求項１記載の動画像符号化装置において、
   前記画面間予測部は、前記動き記述部にて前記対象領域の動きをモデル化した前記時間関数によって算出されたベクトルを用いて動き補償を行うことを特徴とする動画像符号化装置。
4. 請求項１記載の動画像符号化装置において、
   前記動き記述部は、前記開始フレームおよび前記終了フレームの指定を、前記時間関数によってモデル化可能な範囲で指定することを特徴とする動画像符号化装置。
5. 画面間予測を行って予測差分を計算する画面間予測部と、複数フレームに渡る対象領域の動き情報をモデル化する動き記述部と、前記予測差分に対して符号化を行う周波数変換部および量子化処理部と、前記動き記述部による前記モデル化の情報に基づいて、記号の発生確率に応じた可変長符号化を行う可変長符号化部とを有する動画像符号化装置における動画像符号化であって、
   前記動き記述部により、前記複数フレーム内で、開始フレームおよび終了フレームが指定され、前記開始フレームと前記終了フレームとの間の前記対象領域の動きが時間関数によってモデル化されることを特徴とする動画像符号化方法。
6. 請求項５記載の動画像符号化方法において、
   前記可変長符号化部により、前記対象領域に対して、前記画面間予測を行う際に利用した動きベクトルと、前記動き記述部にて前記対象領域の動きをモデル化した前記時間関数によって算出されたベクトルの差分に対して可変長符号化が行われることを特徴とする動画像符号化方法。
7. 請求項５記載の動画像符号化方法において、
   前記画面間予測部により、前記動き記述部にて前記対象領域の動きをモデル化した前記時間関数によって算出されたベクトルを用いて動き補償が行われることを特徴とする動画像符号化方法。
8. 請求項５記載の動画像符号化方法において、
   前記動き記述部により、前記開始フレームおよび前記終了フレームの指定が、前記時間関数によってモデル化可能な範囲で指定されることを特徴とする動画像符号化方法。
9. 可変長符号化されたデータを前記可変長符号化の逆の手順で復号化する可変長復号化部と、
   予測差分を復号化する逆量子化処理部および逆周波数変換部と、
   画面間予測を行い復号化画像を取得する画面間予測部とを有し、
   前記可変長復号化部は、開始フレームと終了フレームとの間の対象領域の動きがモデル化された時間関数に基づいて、前記対象領域の動きベクトルを復号化することを特徴とする動画像復号化装置。
10. 請求項９記載の動画像復号化装置において、
    前記画面間予測部は、前記対象領域の動きをモデル化した時間関数によって算出された動きベクトルを用いて動き補償を行うことを特徴とする動画像復号化装置。
11. 可変長符号化されたデータを前記可変長符号化の逆の手順で復号化する可変長復号化部と、予測差分を復号化する逆量子化処理部および逆周波数変換部と、画面間予測を行い復号化画像を取得する画面間予測部とを有する動画像復号化装置における動画像復号化方法であって、
    前記可変長復号化部により、開始フレームと終了フレームとの間の対象領域の動きがモデル化された時間関数に基づいて、前記対象領域の動きベクトルが復号化されることを特徴とする動画像復号化方法。
12. 請求項１１記載の動画像復号化方法において、
    前記画面間予測部により、前記対象領域の動きをモデル化した時間関数によって算出された動きベクトルを用いて動き補償が行われることを特徴とする動画像復号化方法。

Images