JP4702059B2 - 動画像を符号化する方法及び装置 - Google Patents

Description

本発明は、動画像符号化技術に関し、特に、マルチフレ−ム動き予測を行う動画像符号化において、符号量を制御する技術に関する。

図１は、動画像信号を符号化する従来の典型的な符号化装置の構成を示すブロック図である。

図１に示される符号化装置は、局所的復号装置を含んでおり、周波数変換装置１０１、量子化装置１０２、可変長符号化装置１０３、逆量子化装置１０４、逆周波数変換装置１０５、フレームメモリ１０６、動き補償装置１０７、動き推定装置１０８および符号量制御装置１０９を備えている。さらに符号化装置は、減算器１２１、スイッチ１２２および加算器１２３を備えている。

入力画像フレ−ムは、符号化装置に入力されて、複数のブロックに分割される。分割されたブロックは、フレ−ム間予測が用いられる場合には、減算器１２１によって、後述する予測値を減じられる。

フレ−ム間予測とは、過去に再構築された画像フレ−ムを用いて現在の画像を予測する方法である。予測値が減じられた入力ブロックを予測誤差と呼ぶ。なお、同一符号化フレームの隣接画素から予測値を生成するフレーム内予測のみで符号化フレーム内の全てのブロックを符号化した画像フレームをＩピクチャと呼ぶ。フレーム内予測とフレーム間予測とを用いて符号化された画像フレームをＰピクチャと呼ぶ。さらに、フレーム間予測において、現在の符号化フレームに対して入力時刻が過去と未来である複数の再構築画像フレームを参照したフレーム間予測を用いて符号化された画像フレームを、Ｂピクチャと呼ぶ。

一般に、符号化動画像データにおいて、Ｉピクチャは一定周期で設定され、このＩピクチャで区切られる複数フレームからなる区間をＧＯＰ（グループオブピクチャ；Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）と呼ぶ。これらのＩ，Ｐ，ＢピクチャおよびＧＯＰの定義は、国際標準の動画像符号化規格であるＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などで使われている。

次に、予測値が減算された入力ブロックは、周波数変換装置１０１によって周波数領域に変換される。周波数領域に変換された入力ブロックは、量子化装置１０２によって量子化される。量子化された入力ブロックすなわち変換係数は、可変長符号化装置１０３によってエントロピー符号化され、出力される。なお、スイッチ１２２は、フレーム間予測を行うか行わないかを切り替えるために設けられている。フレーム間予測を行わない場合には、スイッチ１２２により、予測値の減算が行われていない入力ブロックが、周波数変換装置１０１に直接与えられる。

量子化された予測誤差は、局所的復号処理として、逆量子化装置１０４および逆周波数変換装置１０５により、再び元の空間領域の予測誤差に戻される。さらに、空間領域に戻された予測誤差は、加算器１２３により予測値を加えられ、再構築画像としてフレームメモリ１０６に格納される。

フレ−ムメモリ１０６に格納された再構築画像は、動き補償装置１０７および動き推定装置１０８によって、予測値の生成に参照される。よって、フレームメモリ１０６に格納された再構築画像は参照フレームとも呼ばれる。

動き補償装置１０７は、動き推定装置１０８から供給される動きベクトルと参照フレームインデックスを用いて、フレームメモリ１０６に格納された参照フレームから予測値を生成する。動き推定装置１０８は、入力画像のブロックと参照フレームから、入力ブロックと予測値との差分すなわち予測誤差を最小にする、入力ブロックの動きベクトルと参照するフレームの番号を示す参照フレームインデックスとを検出する。

上記の処理によって圧縮された動画像情報であるビットストリームは、主にブロックごとの変換係数、量子化パラメータ、動きベクトル、参照フレームインデックスからなる可変長符号によって構成されている。

ところで、一般に、デジタル放送システムや画像通信サービスなどにおいて、動画像信号は、伝送・蓄積のために、その発生符号量すなわちビットレートが制御されている。そこで、符号量制御装置１０９は、可変長符号化装置１０３が供給する発生符号量を監視し、発生符号量が目標のビットレートを超えそうであれば量子化パラメータを大きくして変換係数を削減し、発生符号量が目標のビットレートを下回りそうであれば量子化パラメータを小さくして変換係数を増加させる。これによって、従来の動画像符号化技術では、発生符号量が制御される。

一般に、固定された情報量で動画像を高画質に符号化するためには、ビットストリームに含まれる変換係数の情報量の割合を大きくすることが最も好ましい。なぜならば、変換係数こそが画像のテクスチャを表現する情報だからである。

しかしながら、上述した従来の動画像符号化技術では、単純に量子化パラメータを変動させることによって目標のビットレートを達成しようとする。そのため、低ビットレートで動画像を符号化する際には、目標ビットレート達成のために単純に量子化パラメータを大きくして変換係数を削減してしまい、符号化された動画像の品質を低下させてしまう。

そこで、本発明の目的は、画質の低下を招くことなく、ビットストリームに占める参照フレームインデックス符号量を削減することができる、動画像符号化における符号量制御技術を提供することにある。

本発明の別の目的は、画質の低下を招くことなく、ビットストリームに占める参照フレームインデックス符号量を削減することができる、動画像符号化方法を提供することにある。

本発明さらに別の目的は、画質の低下を招くことなく、ビットストリームに占める参照フレームインデックス符号量を削減することができる、動画像符号化装置を提供することにある。

本発明の第１の様相によれば、マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報とを利用可能な動画像符号化方法は、参照フレームの参照頻度を求める段階と、参照頻度を用いて、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める段階と、参照フレーム同定情報を符号化された動画像データとともに多重化する段階と、を有する。

本発明の第２の様相によれば、マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報とを利用可能な動画像符号化装置は、参照フレームの参照頻度を計算し、参照頻度を用いて、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める参照フレーム同定情報算出手段と、参照フレーム同定情報を符号化された動画像データとともに多重化する多重化手段と、を備える。

本発明の第３の様相によれば、マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報を利用可能な動画像符号化装置は、フレーム類似度を計算して参照フレームの参照頻度を推定し、参照頻度を用いて、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める参照フレーム同定情報算出手段と、参照フレーム同定情報を符号化された動画像データとともに多重化する多重化手段と、を有する。

本発明では、マルチフレーム動き予測における被参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報とを利用可能な動画像符号化方法において、参照フレームの参照頻度を計算あるいは推定することによって、ビットストリームに占める参照フレームインデックスの割合が極力小さくなるように、参照フレーム同定情報を参照頻度から生成する。そしてこの参照フレーム同定情報をビットストリームとともに多重化する。これにより、ビットストリーム中に占める変換係数の割合が高くなり、量子化パラメータも小さくなるため、動画像を高画質に符号化することができる。

なお、参照頻度は、動き推定器で得られる予測誤差と動きベクトルの重み付け和とによって選択された参照フレームによって計算することができる。あるいは、参照頻度は、画像フレームから抽出された直交変換係数を用いたフレーム類似度を用いて推定できる。直交変換係数は、動き推定を行うことなく得られる画像の特徴量であるので、フレーム類似度を用いる方法によれば、より少ない演算量で参照フレーム同定情報を計算することができる。

［図１］図１は、動画像信号を符号化する従来の典型的な符号化装置の構成を示すブロック図である。
［図２］図２は、本発明の第１の実施形態の動画像符号化装置の構成を示すブロック図である。
［図３］図３は、マルチフレーム動き予測を説明する図である。
［図４］図４は、参照フレーム同定の処理を示すフローチャートである。
［図５］図５は、参照フレームと動き予測の関係を示す図である。
［図６］図６は、参照フレームと更新参照フレームインデックスの対応例を示す図である。
［図７Ａ］図７Ａは、参照フレーム番号とｒｅｆ＿ｉｎｄｅｘとの対応表の初期値を示す図である。
［図７Ｂ］図７Ｂは、本発明に基づいて更新された参照フレーム番号とｒｅｆ＿ｉｎｄｅｘの対応表を示す図である。
［図８］図８は、参照フレームと動き予測の関係を示す図である。
［図９］図９は、参照フレームと動き予測の関係を示す図である。
［図１０］図１０は、本発明の第２の実施形態の動画像符号化装置の構成を示すブロック図である。
［図１１］図１１は、シーン解析装置の構成を示すブロック図である。
［図１２］図１２は、縮小フレームの生成を説明する図である。
［図１３］図１３は、アダマール行列を示す図である。
［図１４］図１４は、参照フレーム同定の処理を示すフローチャートである。
［図１５］図１５は、本発明を利用した情報処理装置の構成を示すブロック図である。

図２に示した本発明の第１の実施形態の動画像符号化装置は、図１に示した符号化装置に対し、さらに、参照フレーム同定装置１１０を加えたものであり、可変長符号化装置１０３は、参照フレーム同定装置１１０が供給する参照フレーム同定情報に基づいて、参照フレームインデックスに対応する可変長符号を決定する。図２において、図１におけるものと同一の構成要素には同一の参照符号が付与されており、これらについては、詳細な説明は省略する。

以下、本実施形態の動画像符号化装置で特徴的な参照フレーム同定装置１１０および可変長符号化装置１０３を説明する。

参照フレーム同定装置１１０は、動き推定装置１０８から供給される動きベクトルおよび予測誤差を用いて符号化対象フレームと参照フレーム間の類似度を計算し、この類似度から求められる非参照頻度を用いて参照フレーム同定情報を生成する。

参照フレーム同定情報は、符号化対象フレームが動き予測に用いる参照フレームの枚数ＮＵＭ＿ＲＥＦと、参照するフレームの番号ｆｒａｍｅ＿ｎｕｍに対応する変更参照フレームインデックスｍ＿ｒｅｆ＿ｉｎｄｅｘ［ＭＡＸ＿ＲＥＦ］とで構成される。ＭＡＸ＿ＲＥＦは、最大参照フレーム数である。

まず、図３を参照して、動き推定装置１０８が供給する動きベクトルおよび予測誤差を説明し、参照フレーム同定装置１１０における参照フレーム同定情報の生成を説明する。

フレームの横方向の画素数をＷ、
縦方向の画素数をＨ、
符号化対象フレームを構成する画素値をＦ（ｘ，ｙ）、
ブロックが動き予測に参照するフレームの番号に対応したインデックスをｒｅｆ ｉｎｄｅｘ（ｒｅｆ＿ｉｎｄｅｘ≦ＭＡＸ＿ＲＥＦ）、
参照フレームインデックスｒｅｆ＿ｉｎｄｅｘに対応する符号化済みフレームを構成する画素値をＲ（ｘ，ｙ，ｒｅｆ＿ｉｎｄｅｘ）、
フレームを分割するブロックのサイズをｗ×ｈ、
分割して生成されたブロックにフレームの左上から右下へラスタスキャン順に割り振った番号をｉ（Ｏ≦ｉ＜ｂｌｏｃｋ＿ｎｕｍ）、
ｉ番目ブロック左上角のフレーム内で座標を（ｂｘ（ｉ），ｂｙ（ｉ））、
とする。

ｉ番目ブロックの参照フレームインデックスｒｅｆ＿ｉｎｄｅｘに対応する動きベクトルＭＶｘ（ｉ，ｒｅｆ＿ｉｎｄｅｘ），ＭＶｙ（ｉ，ｒｅｆ＿ｉｎｄｅｘ）と、予測誤差ＰＲＥＤ＿Ｅ（ｉ，ｒｅｆ＿ｉｎｄｅｘ）とは、式（１）のｄｉｆｆ（ｍｖｘ，ｍｖｙ，ｒｅｆ＿ｉｎｄｅｘ）を最小にするｍｖｘ，ｍｖｙと、その最小なｄｉｆｆ（ＭＶｘ（ｉ，ｒｅｆ＿ｉｎｄｅｘ），ＭＶｙ（ｉ，ｒｅｆ＿ｉｎｄｅｘ），ｒｅｆ＿ｉｎｄｅｘ）によって与えられる。

次に、図４を参照して、本実施形態における参照フレーム同定装置１１０の動作を説明する。

まず、ステップＳ１０１において、動き推定装置１０８から供給される動きベクトルＭＶｘ，ｙ（ｉ，ｒ）、予測誤差ＰＲＥＤ＿Ｅ（ｉ，ｒ）を用いて、式（２）に基づき、各参照フレームｒに対する各ブロックｉのブロックコストＢＬＯＣＫ＿ＣＯＳＴ（ｉ，ｒ）を計算する。αおよびβは、量子化ステップサイズに依存したパラメータである。

このブロックコストＢＬＯＣＫ＿ＣＯＳＴ（ｉ，ｒ）は、参照フレームインデックスｒに対応する参照フレームｆｒａｍｅ＿ｎｕｍ（ｒ）を動き補償に用いた場合の発生符号量を間接的に表現する。なお、ＭＶｘ，ｙ（ｉ，ｒ）は、実際に符号化される差分ベクトルＤＭＶｘ，ｙ（ｉ，ｒ）であってもよい。

次にステップＳ１０２において、ステップＳ１０１で求めたブロックコストＢＬＯＣＫ＿ＣＯＳＴ（ｉ，ｒ）を用いて、各ブロックの最良参照フレームインデックスＢＥＳＴ＿ＲＥＦ（ｉ）を計算する。ＢＥＳＴ＿ＲＥＦ（ｉ）は、１≦ｒ≦ＭＡＸ＿ＲＥＦにおいて最も小さなＢＬＯＣＫ＿ＣＯＳＴ（ｉ，ｒ）に対応するｒで与えられる。

続いてステップＳ１０３において、ＢＥＳＴ＿ＲＥＦ（ｉ）の値（参照フレームインデックスｒ）の分布を解析する。参照フレームインデックスｒの個数をＮＵＭ（ｒ）とし、ＮＵＭ（ｒ）（１≦ｒ≦ＭＡＸ＿ＲＥＦ）の初期値を０とする。番号ｉのブロックの最良参照フレームインデックスＢＥＳＴ＿ＲＥＦ（ｉ）がｒの時、ＮＵＭ（ｒ）を１インクリメントする処理をｉ＝０からｉ＜ｂｌｏｃｋ＿ｎｕｍまでについて実行する。

最後に、ステップＳ１０４において、以下の処理によって、参照フレーム同定情報を計算する。

ステップＳ１０３で得られたＮＵＭ（ｒ）（１≦ｒ≦ＭＡＸ＿ＲＥＦ）をその値が大きいものから順に選択し、そのＮＵＭ（ｒ）に対応する参照フレーム番号ｆｒａｍｅ＿ｎｕｍ（ｒ）に１から始まる番号を割り振り、その番号をｍ＿ｒｅｆ＿ｉｎｄｅｘとして記憶する。この際、ＮＵＭ（ｒ）の個数が０であればＮＵＭ＿ＲＥＦを１デクリメントする。なお、ＮＵＭ＿ＲＥＦの初期値は、ＭＡＸ＿ＲＥＦである。

以上の処理によって発生頻度（参照頻度）の高い参照フレーム番号と、それに対応する更新参照フレームインデックスと、動き予測に用いる参照フレームの枚数とを計算することができる。

図５は、参照フレーム番号と参照フレームインデックスとの関係の一例を示している。図５に示すような関係が参照フレーム番号と参照フレームインデックスとの間にあるとき、以下に示す３つの例において参照フレーム同定装置１１０での処理によって得られると予測される更新ｍ＿ｒｅｆ＿ｉｎｄｅｘを図６に示す。図６中の例１は、シーンに瞬間的な変動のない定常状態の場合を示したものであり、例２は、フレーム１０３およびフレーム１０４にフラッシュが発生した場合を示したものであり、例３は、シーンに瞬間的な変動のない定常状態であるが動きが速く、フレーム１０４からしか動き予測がなされない場合を示したものである。

次に、本実施形態における可変長符号化装置１０３を説明する。

可変長符号化装置１０３は、参照フレーム同定装置１１０から供給される参照フレーム同定情報をビットストリームにシグナリングし、さらに、参照フレーム同定情報に基づいて、ブロックごとに伝送する参照フレームインデックスの可変長符号を変更する。ただし本発明は、参照フレーム同定情報の生成方法を主題とするものであり、参照フレーム同定情報の伝送方法あるいは符号化方法は、本発明の範疇外である。したがって、参照フレーム同定装置１１０から供給される参照フレーム同定情報を用いて、ブロックごとに伝送する参照フレームインデックス符号がどのように変更されるについて、以下で説明する。

まず、参照フレーム同定情報をシグナリングしない場合における、参照フレームインデックスとその可変長符号の割り当てについて説明する。

動画像を構成する画像フレームをＦ（ｉ）、符号化対象のフレームをＦ（ｃｕｒ），フレーム間隔をｔ、符号化対象フレームが動き予測で参照するフレームをＦ（ｃｕｒ＋ｔ）とする。すると、動画像の性質から、ｔが小さい、すなわちフレーム間隔が小さいほど、画素の変動が小さく、動き予測の効果が高い。このため、小さなｔ（１≦ｔ≦ＭＡＸ＿ＲＥＦ）に対応するフレームほど、動き予測において頻繁に参照される。

一般に、発生頻度の高い情報に相対的に短い符号長の符号、発生頻度の低い情報に相対的に長い符号長の符号を割り当てることによって、情報を効果的に圧縮できる。このことを利用し、シーンに瞬間的な変動がない定常状態では、フレーム間隔が近い参照フレームに対応する参照フレームインデックスに対し短い可変長符号を割り当てることで、ブロックごとに伝送する参照フレーム符号量を効果的に削減できる。

例として、現在するフレームの番号が１０５、最大参照フレーム枚数ＭＡＸ＿ＲＥＦが４、参照するフレームの番号が１０１〜１０４の場合の、参照フレーム番号と参照フレームインデックスそして可変長符号の関係を図７Ａに示す。図７Ａにおいて、可変長符号は２進法表記で表わされている。

しかしながら、“フレーム間隔の近い参照フレームの参照フレームインデックスに対し相対的に短い可変長符号を割り当てることで、ブロックごとに伝送する参照フレーム符号量を効果的に削減できる”という事項は、全ての動画像に対して必ず当てはまるとは限らない。

例えば、図８に示すように、動画像においてフラッシュや遮蔽によって瞬間的なシーン変動が発生し、フレームの画素値が大きく変動してしまった場合などが考えられる。このような場合、フレーム１０２が高い頻度で参照フレームとして選択される。このため、符号長の長い参照フレームインデックス３が高い頻度で発生し、定常状態よりも参照フレームインデックスの発生符号量が増大する。

また、符号化対象フレーム１０５に対する参照フレーム１０２のフレーム間隔が大きく離れている。このため、定常状態よりも画素の変動が大きく、予測誤差および動きベクトル長が大きくなり、ブロックごとに伝送する変換係数とベクトル符号量が増加する。符号量制御装置１０９は、増大した発生符号量を目標ビットレートに保つために、量子化パラメータを大きくする。この結果、このフレームの画質は低下する。

しかしながら、このような場合において、本実施形態の符号化装置が備える参照フレーム同定装置１１０は、動きベクトルと予測誤差を用いて、図６の例２で示したように発生頻度の高い参照フレームを解析し、
ｍ＿ｒｅｆ＿ｉｎｄｅｘ１⇔ｆｒａｍｅ＿ｎｕｍ１０２，
ｍ＿ｒｅｆ＿ｉｎｄｅｘ２⇔ｆｒａｍｅ＿ｎｕｍ１０１，
ｍ＿ｒｅｆ＿ｉｎｄｅｘ３⇔ｆｒａｍｅ＿ｎｕｍ１０４，
ｍ＿ｒｅｆ＿ｉｎｄｅｘ４⇔ｆｒａｍｅ＿ｎｕｍ１０３
を参照フレーム同定情報として可変長符号化装置１０３にシグナリングする。なお、上記の式中、“⇔”は、“対応する”を意味する。

この参照フレーム同定情報に基づき、可変長符号化装置１０３は、図７Ａのフレーム番号ｆｒａｍｅ＿ｎｕｍに対応するｒｅｆ＿ｉｎｄｅｘを、図７Ｂに示すように、更新参照フレームインデックスｍ＿ｒｅｆ＿ｉｎｄｅｘに置き換えることができる。

これにより、高い頻度で最良参照フレームと選択されるフレーム番号１０２に対して、３ビットの可変長符号に代えて１ビットの短い可変長符号を割り当てることができ、ブロックごとに伝送される参照フレーム情報を大幅に削減できる。また、参照フレームインデックスの符号量が減少するので、ビットレートに占める変換係数の割合が高まる。この結果、量子化パラメータの増加は抑えられ、画質の劣化を低減できる。このような利点は、図８に示した瞬間的なシーンの変動においてのみではなく、図９に示されるように定常的でかつ動きの速いシーンであって、かつ動き予測で参照に用いられるフレームがフレーム番号１０４だけである場合にも得られる。

このような場合においても本実施形態の符号化装置では、参照フレーム同定装置１１０は、動きベクトルと予測誤差を用いて、図６の例３で示したように発生頻度の高い参照フレームを解析し、
ｍ＿ｒｅｆ＿ｉｎｄｅｘ１⇔ｆｒａｍｅ＿ｎｕｍ１０４，
ｍ＿ｒｅｆ＿ｉｎｄｅｘ２⇔ｆｒａｍｅ＿ｎｕｍ１０３，
ｍ＿ｒｅｆ＿ｉｎｄｅｘ３⇔ｆｒａｍｅ＿ｎｕｍ１０２，
ｍ＿ｒｅｆ＿ｉｎｄｅｘ４⇔ｆｒａｍｅ＿ｎｕｍ１０１，
ＮＵＭ＿ＲＥＦ＝１
を参照フレーム同定情報として可変長符号化装置１０３にシグナリングする。

この場合、可変長符号化装置１０３は、参照フレーム同定装置１１０から供給される参照フレーム同定情報ＮＵＭ＿ＲＥＦがＮＵＭ＿ＲＥＦ＝１であることより、フレームが参照するフレーム枚数は１枚であり、ｍ＿ｒｅｆ＿ｉｎｄｅｘ１⇔ｆｒａｍｅ＿ｎｕｍ１０４より、唯一の参照フレームが１０４であることをビットストリーム中にシグナリングできる。このように、動き予測に用いる参照フレームは１枚となり、ブロックごとの参照フレームインデックスを伝送する必要がない。

その結果、ビットレートに占める変換係数の割合が高まり、量子化パラメータは小さくなるので、符号化された動画像の画質を改善することができる。

次に、本発明の第２の実施形態の動画像符号化装置を説明する。

図１０に示した第２の実施形態の動画像符号化装置は、図１に示した符号化装置に対し、さらに、参照フレーム同定装置１１０およびシーン解析装置１１１を加えたものである。シーン解析装置１１１は、入力画像フレームからフレーム特徴量を計算し、計算されたフレーム特徴量を参照フレーム同定装置１１０に供給する。

ここでフレーム特徴量とは、各入力画像フレームから計算した直交変換係数である。参照フレーム同定装置１１０は、シーン解析装置１１１が供給するフレーム特徴量からフレーム類似度を計算し、このフレーム類似度を用いて参照フレーム同定情報を生成する。参照フレーム同定装置１１０が供給する参照フレーム同定情報によって、可変長符号化装置１０３は、参照フレームインデックスに対応する可変長符号を決定し、動き推定装置１０８は、参照フレーム同定情報で指定される参照フレームに対して動き推定を実行する。

上述の第１の実施形態では、参照フレーム同定情報の生成に必要な予測誤差と動きベクトルを求めるために、大きな演算量を必要とする動き推定を実行しなければなかった。しかしながら、直交変換係数は、動き推定を実行することなく、画像フレームから直接計算可能であり、直交変換係数を用いることによって、参照フレーム同定情報の生成ための計算も、動き推定を実行する前に実行することが可能である。そこでこの第２の実施形態では、この参照フレーム同定情報を動き推定装置１０８にシグナリングし、動き推定装置１０８において、参照フレーム同定情報が非参照とするフレームに対する動き推定を停止させることが可能である。

以下では、本実施形態におけるシーン解析装置１１１および参照フレーム同定装置１１０について説明する。なお、本実施形態において、可変長符号化装置１０３の動作は、第１の実施形態の場合と同一である。

図１１に示すように、シーン解析装置１１１は、フレーム縮小装置１１１１と直交変換装置１１１２によって構成される。以下、フレーム縮小装置１１１１と直交変換装置１１１２の動作を説明する。

フレーム縮小装置１１１１は、式（３）を用いて、入力フレームＦ（ｘ，ｙ）の（０≦ｘ＜Ｗ，０≦ｙ＜Ｈ）から縮小フレームＳ（ｘ，ｙ）（０≦ｘ＜ｗ，０≦ｙ＜ｈ）を生成する。図１２はこのフレーム縮小を概念的に示している。

ここで、ｗｗ＝Ｗ／ｗ、ｈｈ＝Ｈ／ｈである。以降、処理の都合上、ｗおよびｈは、それぞれその値が２のべき乗であることが望ましい。

直交変換装置１１１２は、式（４）を用いて、フレーム縮小装置１１１１から供給される縮小画像フレームＳ（ｉ，ｊ）（０≦ｘ＜ｗ，０≦ｙ＜ｈ）から、直交変換係数Ｃｏｅｆｆ（ｉ，ｊ）（０≦ｘ＜ｗ，０≦ｙ＜ｈ）を計算する。

ここで“・”は行列積を示し、Ｈｗ，ｈは、図１３に示す漸化式で表現できるアダマール行列である。

以上の処理によって得られた直交変換係数Ｃｏｅｆｆ（ｉ，ｊ）は、フレームの絵柄を表現しており、各フレームの直交変換係数を比較することによって、フレーム間の類似度を見ることができる。

なお、本実施形態では、直交変換に離散アダマール変換を用いているが、離散アダマール変換の代わりに、離散コサイン変換などの直交変換を使用可能であることは、言うまでもない。

参照フレーム同定装置１１０は、シーン解析装置１１１から供給される直交変換係数を用いて、参照フレーム同定情報を生成する。その場合、第１の実施形態の場合と同様に、参照フレーム同定情報は、フレームの用いる参照フレームの枚数ＮＵＭ＿ＲＥＦ、参照するフレームの番号ｆｒａｍｅ＿ｎｕｍに対応する変更参照フレームインデックスｍ＿ｒｅｆ＿ｉｎｄｅｘで構成される。インデックスｍ＿ｒｅｆ＿ｉｎｄｅｘは、最大参照フレーム数ＭＡＸ＿ＲＥＦだけある。

図１４を参照して、本実施形態における参照フレーム同定装置１１０の動作を説明する。

参照フレームインデックスｒに対応する参照フレーム番号をｆｒａｍｅ＿ｎｕｍ（ｒ）とし、シーン解析装置１１１から供給される符号化対象フレームの直交変換係数をＣｏｅｆｆ（ｘ，ｙ）（０≦ｘ＜ｗ，０≦ｙ＜ｈ）とし、過去にシーン解析装置１１１から供給されたｆｒａｍｅ＿ｎｕｍ（ｒ）番フレームに対応する直交変換係数をＰ＿Ｃｏｅｆｆ（ｆｒａｍｅ＿ｎｕｍ（ｒ），ｘ，ｙ）（０≦ｘ＜ｗ，０≦ｙ＜ｈ）とする。

まず、ステップＳ２０１において、式（５）に基づき、直交変換係数差分ＤＩＦＦ＿ＣＯＥＦＦ（ｒ）を１≦ｒ≦ＭＡＸ＿ＲＥＦについて計算する。フレーム類似度は、１／ＤＩＦＦ＿ＣＯＥＦＦ（ｒ）で定義される。ここでｃ（ｉ，ｊ）は、直交変換の周波数成分に応じた重み付けパラメータであり、ｄは１よりも大きい参照フレームインデックスに対するた重み付けパラメータである。このとき、ｃ（ｉ，ｊ）（ｉ^２＋ｊ^２≠０）が０であれば、平均値を用いた処理と同等となる。

このブロックコストＤＩＦＦ＿ＣＯＦＦ（ｒ）は、参照フレームインデックスｒに対応する参照フレームｆｒａｍｅ＿ｎｕｍ（ｒ）と現在の符号化対象フレームとの絵柄の差分を表現する。絵柄の差分が小さいフレームほど、動き予測に効果的である。すなわち絵柄の差分が小さいフレームほど、参照頻度が高いと予測される。

次に、ステップＳ２０２において、ステップＳ２０１で求めたＤＩＦＦ＿ＣＯＦＦ（ｒ）を小さいものから順にソートする。

続いてステップＳ２０３において、ステップＳ２０２でソートしたＤＩＦＦ＿ＣＯＦＦ（ｒ）に対して、値が小さい順にそのＤＩＦＦ＿ＣＯＦＦ（ｒ）に対応する参照フレーム番号ｆｒａｍｅ＿ｎｕｍ（ｒ）に、１から始まる番号を割り振り、その割り振った番号をｍ＿ｒｅｆ＿ｉｎｄｅｘとして記憶する。また、この際に、ＤＩＦＦ＿ＣＯＥＦ（ｒ）がしきい値Ｔよりも大きい場合、ＮＵＭ＿ＲＥＦを１デクリメントする。なお、ＮＵＭ＿ＲＥＦの初期値はＭＡＸ＿ＲＥＦである。

以上の処理により、参照頻度が高いと予測される参照フレーム番号とそれに対応する更新参照フレームインデックスを計算することができる。

また、ステップＳ２０３の参照フレーム同定２でのしきい値Ｔの判定、すなわち、極端にフレーム間の絵柄が異なるフレームを非参照フレームと判断することによって、参照フレームインデックス符号量を削減できるだけでなく、符号化効率改善に必要のない動き推定の回数を削減できる。すなわち、符号化対象フレームの直交変換係数と参照フレームの直交変換係数との差分が極端に大きい場合、この参照フレームは、そのフレームにおいてフラッシュや遮蔽が発生している、動き予測の効果が小さいフレームである。したがってそのような参照フレームを非参照フレームとみなして参照フレーム同定情報を生成することができる。参照フレーム同定情報が非参照フレームとする参照フレームに対する動き推定を停止させることで、参照フレームインデックスの符号量を削減できるだけでなく、演算量の多い動き推定の実行回数も削減することができる。

第１及び第２の実施形態においては、参照フレームの全体にわたって参照頻度を計算または推定しているが、本発明においては、参照フレームの一部の領域に限定してその領域の参照頻度を計算または推定してもよい。

以上説明した本発明に基づく動画像符号化装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

図１３は、本発明に基づく動画像符号化装置をインプリメントした情報処理システムの一般的な構成を示すブロック図である。

この情報処理システムは、プロセッサ２１０，プログラムメモリ（主メモリ）２０２，記憶媒体２０３、２０４からなる。記憶媒体２０３、２０４は、別個の記憶媒体であってもよいし、同一の記憶媒体における異なる記憶領域であってもよい。記憶媒体としては、ハードディスクの磁気記憶媒体などを用いることができる。

そして、上述した動画像符号化処理を情報処理システムに実行させるためのプログラムをプログラムメモリ２０２に格納し、そのプログラムをプロセッサ２１０が実行することによって、この情報処理システムは上述した動画像符号化装置として機能することになる。入力動画像データは記憶媒体２０３に予め格納されており、符号化後のビットストリームは、記憶媒体２０４に格納される。

したがって、本発明の範疇には、本発明に基づく動画像符号化処理をコンピュータに実行させるためのプログラム、あるいはそのようなプログラムを格納したコンピュータ読み取り可能な記憶媒体、さらにはそのようなプログラムからなるプログラムプロダクトも含まれる。

具体的には、本発明の範疇に含まれるコンピュータプログラムとして、マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報とを利用可能な動画像符号化を実行するコンピュータに、参照フレームの参照頻度を求める処理と、参照頻度を用いて、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める処理と、参照フレーム同定情報を符号化された動画像データとともに多重化する処理と、を実行させるプログラムが含まれる。

ここで、参照頻度を求める処理は、参照頻度を計算する処理であってもよいし、フレーム類似度を計算して参照フレームの参照頻度を推定する処理であってもよい。また、参照フレーム同定情報を求める処理は、参照頻度に基づいて、相対的に高い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に短い符号長の符号を割り当て、相対的に低い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に長い符号長の符号を割り当てることにより、参照フレーム同定情報を求める処理であってもよい。参照頻度の計算または推定は、参照フレームの全体に対して行ってもよいし、参照フレームの一部に対して行ってもよい。

参照頻度を計算によって求める場合には、予測誤差と動きベクトルの重み付け和とから各ブロックの参照フレームを求め、求めた参照フレームの参照頻度を計算するようにしてもよい。

参照頻度を推定によって求める処理は、例えば、画像フレームから直交変換係数を抽出してフレーム類似度を計算する処理と、フレーム類似度から参照頻度を推定する処理と、から構成することができる。参照頻度を推定によって求める場合、フレーム類似度が極端に低い参照フレームを検出する処理と、検出された参照フレームを非参照フレームとして取り扱う処理とを実行してもよい。

上述した各実施形態では、動き予測に用いる参照フレームの番号と参照フレームインデックスの対応を示す参照フレーム同定情報とを伝送可能なマルチフレーム動き予測を用いた動画像符号化を行う際に、ビットストリームに占める参照フレームインデックス符号の割合が極力小さくなるように参照フレーム同定情報を計算し、これをビットストリーム中にシグナリングしている。

参照頻度は、予測誤差と動きベクトルの重み付け和とから各ブロックの参照フレームを求めることにより、計算することができる。これにより、参照頻度の高い参照フレームに対応する参照フレームインデックスに短い可変長符号を与え、参照頻度の低い参照フレームに対応する参照フレームインデックスに長い可変長符号を与える参照フレーム同定情報を生成でき、ビットストリームに占める参照フレームインデックス符号量を削減することができる。

その結果、間接的に、ビットストリーム中の変換係数の割合を高くすることが可能となり、量子化パラメータも小さくなる。このため、動画像を高画質に符号化することができる。

Claims (18)

1. マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報とを利用可能な動画像符号化方法であって、
   参照フレームのフレーム類似度を計算する段階と、
   前記フレーム類似度が大きい参照フレームほど参照頻度が高いと予測して、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める段階と、
   前記参照フレーム同定情報を符号化された動画像データとともに多重化する段階と、
   を有する、動画像符号化方法。
2. 前記参照フレーム同定情報を求める段階は、前記参照頻度の予測の結果に基づいて、相対的に高い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に短い符号長の符号を割り当て、相対的に低い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に長い符号長の符号を割り当てることにより、参照フレーム同定情報を求める段階を有する、請求項１に記載の動画像符号化方法。
3. 前記フレーム類似度を計算する段階は、画像フレームから直交変換係数を抽出して前記フレーム類似度を計算する段階を有する、請求項１または２に記載の動画像符号化方法。
4. 前記フレーム類似度が所定のしきい値よりも小さい参照フレームを検出する段階と、
   前記検出された参照フレームを非参照フレームとして取り扱う段階と、
   をさらに有する請求項１に記載の動画像符号化方法。
5. 参照フレーム全体の参照頻度を予測する、請求項１に記載の動画像符号化方法。
6. 参照フレームの一部の参照頻度を予測する、請求項１に記載の動画像符号化方法。
7. マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報を利用可能な動画像符号化装置であって、
   フレーム類似度を計算して前記フレーム類似度が大きい参照フレームほど参照頻度が高いと予測し、前記予測の結果を用いて、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める参照フレーム同定情報算出手段と、
   前記参照フレーム同定情報を符号化された動画像データとともに多重化する多重化手段と、
   を有する動画像符号化装置。
8. 前記参照フレーム同定情報算出手段は、前記参照頻度の予測の結果に基づいて、相対的に高い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に短い符号長の符号を割り当て、相対的に低い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に長い符号長の符号を割り当てることにより、参照フレーム同定情報を求める手段である、請求項７に記載の動画像符号化装置。
9. 画像フレームから直交変換係数を抽出して前記フレーム類似度を計算する、請求項７に記載の動画像符号化装置。
10. 前記フレーム類似度が所定のしきい値よりも小さい参照フレームを非参照フレームとみなして計算を行う、請求項７に記載の動画像符号化装置。
11. 参照フレーム全体の参照頻度が予測される、請求項７に記載の動画像符号化装置。
12. 参照フレームの一部の参照頻度が予測される、請求項７に記載の動画像符号化装置。
13. マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報とを利用可能な動画像符号化を実行するコンピュータに、
    参照フレームのフレーム類似度を計算する処理と、
    前記フレーム類似度が大きい参照フレームほど参照頻度が高いと予測して、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める処理と、
    前記参照フレーム同定情報を符号化された動画像データとともに多重化する処理と、
    を実行させるプログラム。
14. 前記参照フレーム同定情報を求める処理は、前記参照頻度の予測の結果に基づいて、相対的に高い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に短い符号長の符号を割り当て、相対的に低い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に長い符号長の符号を割り当てることにより、参照フレーム同定情報を求める処理を有する、請求項１３に記載のプログラム。
15. 前記フレーム類似度を計算する処理は、画像フレームから直交変換係数を抽出して前記フレーム類似度を計算する処理を有する、請求項１３または１４に記載のプログラム。
16. 前記フレーム類似度が所定のしきい値よりも小さい参照フレームを検出する処理と、
    前記検出された参照フレームを非参照フレームとして取り扱う処理と、
    をさらに前記コンピュータに実行させる、請求項１３に記載のプログラム。
17. 前記参照フレーム同定情報を求める処理において、参照フレーム全体の参照頻度が予測される、請求項１３に記載のプログラム。
18. 前記参照フレーム同定情報を求める処理において、参照フレームの一部の参照頻度が予測される、請求項１３に記載のプログラム。

Images