JP6757599B2 - 符号化装置及びプログラム - Google Patents

Description

本発明は、符号化装置及びプログラムに関する。

動画像（映像）のデータ圧縮方式として、動画像のフレームを「ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）」と呼ばれる予測単位のブロックに分割し、かかるブロックごとに動き補償フレーム間予測を行うことによって予測残差を算出し、かかる予測残差に対して離散コサイン変換処理等の変換処理を施すことによって変換係数を算出し、かかる変換係数を量子化し、量子化された変換係数に対してエントロピー符号化処理を施して伝送するように規定されているハイブリッド符号化方式が知られている（例えば、非特許文献１参照）。

上述のハイブリッド符号化方式では、上述の動き補償フレーム間予測を行う際、上述のブロックごとに、動きの量を表すために「動きベクトル」と呼ばれる量を用いる。かかるハイブリッド符号化方式では、かかる動きベクトルに対してもエントロピー符号化処理を施した上で伝送するように規定されている。

Ｒｅｃ.ＩＴＵ-Ｔ Ｈ.２６５、ＩＳＯ/ＩＥＣ ２３００８-２、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）

一般的に、圧縮されたデータを伝送する場合、伝送路の容量に応じて、圧縮されたデータの速度（ビットレート）を制御する必要がある。

したがって、上述のハイブリッド符号化方式において、上述の変換係数を量子化する際の量子化ステップの値を増減することで発生する符号量を調整して、圧縮されたデータのビットレートが所望のビットレートとなるように制御することが行われている。

しかしながら、上述のハイブリッド符号化方式では、動きベクトルに対しては量子化が行われないため、伝送路の容量に応じた符号量の制御は行われていない。

すなわち、上述のハイブリッド符号化方式では、変換係数の符号量については量子化によって制御することができるように規定されているのに対して、動きベクトルの符号量については量子化によって制御することができないように規定されている。

したがって、上述のハイブリッド符号化方式では、伝送路の容量が小さく（ビットレートが低く）なる場合には、上述の予測残差によって発生する符号量のみが減少し、動きベクトルによって発生する符号量は減少しないという問題点があった。

また、伝送路の容量が更に小さくなれば（ビットレートが更に低くなれば）、上述の予測残差によって発生する符号量が著しく低下し、いずれは伝送される全ての符号が動きベクトルに占められてしまう可能性もある。

すなわち、このような状態では、伝送路の容量に応じた符号量の制御を適切に行うことが不可能になるばかりでなく、画質も著しく低下してしまうという問題点があった。

なお、具体的には、上述のハイブリッド符号化方式では、特定のＰＵにおける動きベクトルは、かかる特定のＰＵの周辺のＰＵの値を用いた予測符号化に基づいて符号化されるように規定されている。

ここで、動きベクトルが、物体の動きを適切に表現していれば、上述の予測残差の多くは、０付近に集中することが期待されている。

しかしながら、実際には、動画像に含まれるノイズや動きベクトルの検出に用いる動画像の劣化等により、動きベクトルを正しく算出できず、特定のＰＵにおける動きベクトルが、周辺のＰＵにおける動きベクトルと異なる方向を指し示すことがしばしばある。

このように、動きベクトルがばらついた状態となってしまえば、動きベクトルの符号化効率が低下し、ばらつきの度合いが大きい程、動きベクトルの符号量が増加してしまう結果となる。

そこで、本発明は、上述した課題を解決するためになされたものであり、上述のハイブリッド符号化方式において、ビットレートが低下した場合の動画像の劣化を抑制することができる符号化装置及びプログラムを提供することを目的とする。

本発明の第１の特徴は、入力された動画像のブロック毎に動き補償予測を行うことによって得られた予測残差及び前記ブロック毎の動きベクトルを符号化するハイブリッド符号化方式が適用される符号化装置であって、整列強度を決定するように構成されている符号化制御部と、前記整列強度に応じて複数の前記ブロックの動きベクトルを補正することによって整列動きベクトル値を算出するように構成されている動きベクトル制御部と、前記整列動きベクトル値を用いて前記動き補償予測を行うことによって前記予測残差を算出するように構成されている動き補償予測部とを具備しており、前記動きベクトル制御部は、前記整列強度に応じて、前記整列動きベクトル値の成分値が同じ値を取る隣接する前記ブロックの数を決定するように構成されていることを要旨とする。

本発明の第２の特徴は、コンピュータを、上述の第１の特徴に係る符号化装置として機能させるためのプログラムであることを要旨とする。

本発明によれば、上述のハイブリッド符号化方式において、ビットレートが低下した場合の動画像の劣化を抑制することができる符号化装置及びプログラムを提供することができる。

図１は、第１の実施形態に係る符号化装置１の機能ブロック図の一例である。 図２は、第１の実施形態に係る符号化装置１の動きベクトル制御部１９の機能ブロック図の一例である。 図３は、第１の実施形態において整列動きベクトル値を算出する方法の一例について説明するための図である。 図４は、第１の実施形態に係る符号化装置１の動作を示すフローチャートの一例である。 図５は、第２の実施形態に係る符号化装置１の動作を示すフローチャートの一例である。

（第１の実施形態）
以下、図１〜図４を参照して、本発明の第１の実施形態に係る符号化装置１について説明する。

ここで、本実施形態に係る符号化装置１には、入力された動画像のブロック毎に動き補償予測を行うことによって得られた予測残差及びブロック毎の動きベクトルを符号化するハイブリッド符号化方式が適用されている。なお、本実施形態では、以下、ブロックとしてＰＵを用いるケースを例に挙げて説明する。

図１に示すように、本実施形態に係る符号化装置１は、ブロック分割部１１と、変換部１２と、量子化部１３と、エントロピー符号化部１４と、逆量子化部１５と、逆変換部１６と、フレームメモリ１７と、動き検出部１８と、動きベクトル制御部１９と、動き補償予測部２０と、エントロピー符号化部２１と、符号量計数部２２と、符号量計数部２３と、符号化制御部２４とを具備している。

ブロック分割部１１は、入力された動画像を複数のＰＵに分割するように構成されている。なお、本実施形態において、入力された動画像を複数のＰＵに分割する際の分割数や分割形状については、任意の分割数や分割形状であってもよい。

動き検出部１８は、ブロック分割部１１によって分割されたＰＵ毎の動きベクトルを検出するように構成されている。具体的には、動き検出部１８は、ブロック分割部１１によって分割されたＰＵ及び参照画像に基づいて、ＰＵ毎の動きベクトルを検出するように構成されている。

動きベクトル制御部１９は、後述する符号化制御部２４によって決定された整列強度ｋに応じて、動き検出部１８によって検出された複数のＰＵの動きベクトルを補正することによって整列動きベクトル値を算出するように構成されている、すなわち、動き検出部１８によって検出された複数のＰＵの動きベクトルの値を整列させるように構成されている。ここで、整列動きベクトル値は、整列された複数の動きベクトル値を成分値として有している。

具体的には、図２に示すように、動きベクトル制御部１９は、直交変換部１９ａと、基底選択部１９ｂと、逆変換部１９ｃとを具備している。

直交変換部１９ａは、動き検出部１８によって検出された複数のＰＵの動きベクトルに対して直交変換処理を施すことによって変換係数を算出するように構成されている。

ここで、直交変換部１９ａは、かかる直交変換処理として、同じ値が連続する数及び値の変化点によって周波数を特徴付ける基底を有する直交変換処理を用いるように構成されていてもよい。

例えば、直交変換部１９ａは、かかる直交変換処理として、アダマール変換処理を用いるように構成されている。

以下、図３を参照して、かかる直交変換処理としてアダマール変換処理が用いられるケースについて説明する。なお、以下のケースでは、動きベクトル制御部１９は、水平方向或いは垂直方向のそれぞれにおいて、整列強度ｋに応じて動きベクトルを補正するように構成されている。

ここで、図３及び表１は、アダマール変換処理における基底及び整列強度ｋの関係を示す。図３の例では、かかる基底の数は「１６」である。

また、整列強度ｋは、基底数及び連続数を規定するものである。ここで、基底数は、整列動きベクトル値の算出に用いる基底及び変換係数の数を示し、連続数は、水平方向或いは垂直方向において整列動きベクトル値の成分値が同じ値を取るＰＵが連続する数を示す。例えば、整列強度ｋが「０」である場合、基底数は「１６」で、連続数は「１」となる。なお、整数強度が「０」である場合、入力をそのまま出力することに相当する。また、整列強度ｋが「１」である場合、基底数は「８」で、連続数は「２」となる。また、整列強度ｋが「２」である場合、基底数は「４」で、連続数は「４」となる。また、整列強度ｋが「３」である場合、基底数は「２」で、連続数は「８」となる。また、整列強度ｋが「４」である場合、基底数は「１」で、連続数は「１６」となる。

表１では、「Ｋ」を「Ｋ＝ｌｏｇ_２Ｍ」である整数であるとして、整数強度ｋを「０，１，…Ｋ」であるものとする。

かかるケースでは、アダマール変換処理で用いるアダマール行列のサイズを「Ｍ×Ｍ（Ｍは、２のべき乗）」の大きさに設定するものとする。かかるサイズによって、上述の連続数の最大値が決まる。このため、「Ｍ」を大きな値に設定することで、動きベクトルの符号量をより強く抑制するような制御が可能になる。ここで、アダマール行列のサイズは、水平方向及び垂直方向において、同じ値として設定されてもよいし、異なる値として設定されてもよい。

なお、ＨＥＶＣ等では、ＰＵのサイズが可変であるため、ＰＵの最大サイズより大きく設定する方がより効果的であることが予想される。

基底選択部１９ｂは、直交変換部１９ａによって算出された変換係数のうち、後述の符号化制御部２４によって決定された整列強度ｋに応じて所定数の変換係数（すなわち、基底）を選択するように構成されている。

すなわち、基底選択部１９ｂは、図３に示すように、基底を周波数が低い方から高い方に並べて、整列強度ｋに対応する基底数の基底（基底に対応する変換係数）を周波数が低い方から選択するように構成されている。かかる構成によれば、整列動きベクトル値の水平方向及び垂直方向において同じ値が連続するように操作することができる。

すなわち、基底選択部１９ｂは、整列強度ｋに応じて、整列動きベクトル値の成分値が同じ値を取る隣接するＰＵの数を決定するように構成されている。

逆変換部１９ｃは、基底選択部１９ｂによって選択された所定数の変換係数（すなわち、所定数の基底に対応する変換係数）に対して逆直交変換処理を施すことによって整列動きベクトル値を算出するように構成されている。

ここで、動きベクトル制御部１９は、水平方向及び垂直方向の両方向において、動きベクトルを補正することによって整列動きベクトル値を算出するように構成されている。

したがって、水平方向及び垂直方向のそれぞれにおいて、直交変換部１９ａが、上述の動きベクトルに対して直交変換処理を施し、基底選択部１９ｂが、上述の所定数の変換係数（すなわち、基底）を選択し、逆変換部１９ｃが、逆直交変換処理を施すことによって、整列動きベクトル値を算出するように構成されている。

動き補償予測部２０は、ＰＵごとに動き補償フレーム間予測を行うことによって予測残差を生成するように構成されている。具体的には、動き補償予測部２０は、フレームメモリ１７から取得した参照画像と動きベクトル制御部１９から取得した整数動きベクトル値とに基づいて予測画像を生成し、かかる予測画像及びブロック分割部１１から出力されたＰＵに基づいて予測残差を生成するように構成されている。

エントロピー符号化部２１は、動きベクトル制御部１９によって算出された整列動きベクトル値に対してエントロピー符号化処理を施すことによって得られた符号を出力するように構成されている。

変換部１２は、動き補償予測部２０によって生成された予測残差に対して離散コサイン変換処理等の変換処理を施すことによって変換係数を生成するように構成されている。

量子化部１３は、変換部１２によって生成された変換係数に対して量子化処理を施し、量子化された変換係数を生成するように構成されている。

エントロピー符号化部１４は、量子化部１３によって生成された量子化された変換係数に対してエントロピー符号化処理を施すことによって得られた符号を出力するように構成されている。

逆量子化部１５は、量子化部１３によって生成された量子化された変換係数に対して、再び逆量子化処理を施すことによって変換係数を生成するように構成されている。

逆変換部１６は、逆量子化部１５によって生成された変換係数に対して、再び逆変換処理を施すことによって予測残差を生成するように構成されている。

フレームメモリ１７は、逆変換部１６によって生成された予測残差及び動き補償予測部２０によって生成された予測画像によって生成された参照画像を記憶するように構成されている。

符号量計数部２２は、整列動きベクトル値によって発生する符号量を計数するように構成されている。

符号量計数部２３は、予測残差によって発生する符号量を計数するように構成されている。

符号化制御部２４は、予測残差によって発生する符号量及び整列動きベクトル値によって発生する符号量に基づいて、それぞれの符号量を制御するためのパラメータ、すなわち、量子化処理に用いられる量子化ステップ及び動きベクトルの制御に用いられる整数強度ｋを決定するように構成されている。

ここで、符号化制御部２４は、任意の方法によって、かかる量子化ステップ及び整数強度ｋを決定するように構成されていてもよい。

例えば、符号化制御部２４は、予測残差によって発生する符号量が全体の符号量に占める割合に応じて、上述の整列強度ｋを決定するように構成されていてもよい。

ここで、予測残差によって発生する符号量が全体量に占める割合を「ｐ」とし、ｐの下限として設定する値及びｐの上限として設定する値をそれぞれ「Ｔ_Ｌ」及び「Ｔ_Ｕ」とする。例えば、Ｔ_Ｌ及びＴ_Ｕは、０.５と設定されてもよいし、画像によって調整されてもよい。また、Ｔ_Ｌ及びＴ_Ｕは、ピクチャタイプによって異なる値に設定されてもよいし、画像によって適応的に変更するように設定されてもよい。

例えば、符号化制御部２４は、予測残差によって発生する符号量が全体量に占める割合ｐがＴ_Ｌ以下となった場合、整列強度ｋを１増加させ、予測残差によって発生する符号量が全体量に占める割合ｐがＴ_Ｌ以上となるまで、整列強度ｋを１つずつ増加させるように構成されていてもよい。

かかる構成によれば、上述の連続数を大きくすることができ、動きベクトルの符号量を低下させることができると共に、予測残差によって発生する符号量を増加させることができる。

また、ビットレートの増加や絵柄の変化等によって、予測残差によって発生する符号量が増加してＴ_Ｕを超えた時には、符号化制御部２４は、整列強度ｋを１減少させ、予測残差によって発生する符号量が全体量に占める割合ｐがＴ_Ｕ以下となるまで、整列強度ｋを１つずつ減少させるように構成されていてもよい。

ここで、整列強度ｋの変更を必要以上に発生させないために、Ｔ_ＵとＴ_Ｌとの差分を適切な値に設定すると共に、Ｔ_Ｕ＞Ｔ_Ｌとなるように設定する。

図４に、本実施形態に係る符号化装置１の動作の一例について説明するためのフローチャートについて示す。

図４に示すように、ステップＳ１０１において、符号化装置１は、Ｔ_Ｕ及びＴ_Ｌを初期化する。

ステップＳ１０２において、ｐ＜Ｔ_Ｌが成立する場合、本動作は、ステップＳ１０３に進み、ｐ＜Ｔ_Ｌが成立しない場合、本動作は、ステップＳ１０４に進む。

ステップＳ１０３において、符号化装置１は、ｐがＴ_Ｌ以上となるまで、整列強度ｋを１つずつ増加させる。ここで、整列強度ｋは「Ｋ」以下であるものとする。

ステップＳ１０４において、ｐ＞Ｔ_Ｕが成立する場合、本動作は、ステップＳ１０５に進み、ｐ＞Ｔ_Ｕが成立しない場合、本動作は、ステップＳ１０６に進む。

ステップＳ１０５において、符号化装置１は、ｐがＴ_Ｕ以下となるまで、整列強度ｋを１つずつ減少させる。ここで、整列強度ｋは「０」以上であるものとする。

ステップＳ１０６において、符号化装置１は、整列強度ｋに応じて、複数のＰＵの動きベクトルを補正することによって整列動きベクトル値を算出する、すなわち、複数のＰＵの動きベクトルを整列する。

ステップＳ１０７において、符号化装置１は、かかる整列動きベクトル値を用いて画像を符号化することによって符号を取得し、予測残差によって発生する符号量、及び、かかる整列動きベクトル値によって発生する符号量を計数する。

ステップＳ１０８において、符号化装置１は、かかる符号量に基づいて、ｐを更新し、次のピクチャに対して、本動作を繰り返す。

本実施形態に係る符号化装置１によれば、特に、低いビットレート時に、符号化ストリーム中の予測残差によって発生する符号量及び整列動きベクトル値によって発生する符号量の配分を適切に保ち、これまで不可能であった低い値にビットレートを制御することを可能とし、符号化画質を向上させることができる。

本実施形態に係る符号化装置１によれば、予測残差によって発生する符号量が全体量に占める割合が所定範囲内に収まるように、上述の整列強度ｋを決定することができる。

（第２の実施形態）
以下、図５を参照して、本発明の第２の実施形態に係る符号化装置１について、上述の第１の実施形態に係る符号化装置１との相違点に着目して説明する。

本実施形態に係る符号化装置１において、符号化制御部２４は、ＰＵ毎の符号量及び歪量に応じて、上述の整列強度ｋを決定するように構成されている。

具体的には、符号化装置１は、取り得る整列強度ｋのそれぞれにおいて、ＰＵ毎の符号量Ｒ及び歪量Ｄによって与えられるコスト関数Ｊ（Ｊ＝Ｄ＋λＲ）を計算し、最小のコスト関数Ｊを与える整列強度ｋを選択するように構成されていてもよい。ここで、λは、ラグランジュ乗数と呼ばれる定数である。

図５に、本実施形態に係る符号化装置１の動作の一例について説明するためのフローチャートについて示す。

図５に示すように、ステップＳ２０１において、符号化装置１は、初期化処理を行う、具体的には、「整列強度ｋ＝０」及び「Ｊ_ｍｉｎ＝∞」と設定する。

ステップＳ２０２において、「整列強度ｋ≦Ｋ」が成立する場合、本動作は、ステップＳ２０５に進み、「整列強度ｋ≦Ｋ」が成立しない場合、本動作は、ステップＳ２０３に進む。

符号化装置１は、ステップＳ２０３において、整列強度ｋに「ｋ_ｍｉｎ」を設定し、かかる整列強度ｋに応じて、複数のＰＵの動きベクトルを補正することによって整列動きベクトル値を算出する。

ステップＳ２０４において、符号化装置１は、かかる整列動きベクトル値に対してエントロピー符号化処理を施すことによって符号を取得し、かかる整列動きベクトル値によって発生する符号量を計数する。

また、符号化装置１は、変換係数に対してエントロピー符号化処理を施すことによって符号を取得し、かかる変換係数によって発生する符号量を計数する。

その結果、符号化装置１は、整列動きベクトル値によって発生する符号量及び変換係数によって発生する符号量に基づいて、符号化対象のＰＵの符号量Ｒを算出する。符号化装置１は、かかる符号量Ｒに基づいて、次のピクチャに対して、本動作を繰り返す。

ステップＳ２０５において、符号化装置１は、現在の整列強度ｋに応じて、複数のＰＵの動きベクトルを補正することによって整列動きベクトル値を算出する、複数のＰＵの動きベクトルを整列する。

符号化装置１は、ステップＳ２０６において、現在の整列強度ｋにおけるＰＵ毎の符号量Ｒ及び歪量Ｄを算出し、ステップＳ２０７において、コスト関数Ｊ（Ｊ＝Ｄ＋λＲ）を算出する。

ステップＳ２０８において、「Ｊ_ｍｉｎ＞Ｊ」が成立する場合、本動作は、ステップＳ２０９に進み、「Ｊ_ｍｉｎ＞Ｊ」が成立しない場合、本動作は、ステップＳ２１０に進む。

符号化装置１は、ステップＳ２０９において、符号化装置１は、「ｋ_ｍｉｎ」に現在の整列強度ｋを設定し、「Ｊ_ｍｉｎ」に現在のコスト関数Ｊを設定し、ステップＳ２１０において、整列強度ｋを１増加させる。

本実施形態に係る符号化装置１によれば、レート歪関係において、最適のレート歪値を与える整列強度ｋを選択することができる。

（その他の実施形態）
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

また、上述の実施形態では特に触れていないが、上述の符号化装置１によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の記録媒体であってもよい。

或いは、上述の符号化装置１内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

１…符号化装置
１１…ブロック分割部
１２…変換部
１３…量子化部
１４、２１…エントロピー符号化部
１５…逆量子化部
１６…逆変換部
１７…フレームメモリ
１８…動き検出部
１９…動きベクトル制御部
１９ａ…直交変換部
１９ｂ…基底選択部
１９ｃ…逆変換部
２０…動き補償予測部
２２、２３…符号量計数部
２４…符号化制御部

Claims (6)

1. 入力された動画像のブロック毎に動き補償予測を行うことによって得られた予測残差及び前記ブロック毎の動きベクトルを符号化するハイブリッド符号化方式が適用される符号化装置であって、
   整列強度を決定するように構成されている符号化制御部と、
   前記整列強度に応じて複数の前記ブロックの動きベクトルを補正することによって整列動きベクトル値を算出するように構成されている動きベクトル制御部と、
   前記整列動きベクトル値を用いて前記動き補償予測を行うことによって前記予測残差を算出するように構成されている動き補償予測部とを具備しており、
   前記動きベクトル制御部は、前記整列強度に応じて、前記整列動きベクトル値の成分値が同じ値を取る隣接する前記ブロックの数を決定するように構成されており、
   前記動きベクトル制御部は、
   前記複数のブロックの動きベクトルに対して直交変換処理を施すことによって変換係数を算出するように構成されている直交変換部と、
   前記変換係数のうち、前記整列強度に応じて所定数の変換係数を選択するように構成されている基底選択部と、
   前記基底選択部によって選択された前記所定数の変換係数に対して逆直交変換処理を施すことによって前記整列動きベクトル値を算出するように構成されている逆変換部とを具備することを特徴とする符号化装置。
2. 入力された動画像のブロック毎に動き補償予測を行うことによって得られた予測残差及び前記ブロック毎の動きベクトルを符号化するハイブリッド符号化方式が適用される符号化装置であって、
   整列強度を決定するように構成されている符号化制御部と、
   前記整列強度に応じて複数の前記ブロックの動きベクトルを補正することによって整列動きベクトル値を算出するように構成されている動きベクトル制御部と、
   前記整列動きベクトル値を用いて前記動き補償予測を行うことによって前記予測残差を算出するように構成されている動き補償予測部とを具備しており、
   前記動きベクトル制御部は、前記整列強度に応じて、前記整列動きベクトル値の成分値が同じ値を取る隣接する前記ブロックの数を決定するように構成されており、
   前記符号化制御部は、前記予測残差によって発生する符号量が全体の符号量に占める割合に応じて、前記整列強度を決定するように構成されていることを特徴とする符号化装置。
3. 前記符号化制御部は、前記ブロック毎の符号量及び歪量に応じて、前記整列強度を決定するように構成されていることを特徴とする請求項１に記載の符号化装置。
4. 前記直交変換部は、前記直交変換処理として、同じ値が連続する数及び値の変化点によって周波数を特徴付ける基底を有する直交変換処理を用いるように構成されていることを特徴とする請求項１に記載の符号化装置。
5. 前記直交変換部は、前記直交変換処理として、アダマール変換処理を用いるように構成されていることを特徴とする請求項１に記載の符号化装置。
6. コンピュータを、請求項１〜５のいずれか一項に記載の符号化装置として機能させるためのプログラム。

Images