JP6392702B2 - 符号量推定方法、映像符号化装置及び符号量推定プログラム - Google Patents

Description

本発明は、映像符号化において、符号量を推定する符号量推定方法、映像符号化装置及び符号量推定プログラムに関する。

映像符号化の標準規格であるＨ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣ（High Efficiency Video Coding）では符号化対象ピクチャの符号化をブロック単位で行う。以下ではＨＥＶＣを例に説明する。ＨＥＶＣでは符号化対象ピクチャをＬＣＵ（Largest Coding Unit）と呼ばれるブロックに分け、ＬＣＵ毎に符号化を行う。ＬＣＵは四分木で最大３回まで分割することができ、最大６４画素×６４画素（以下、６４ｘ６４と略記する）から８ｘ８までのＣＵ（Coding Unit）と呼ばれるブロックから構成される。

また、ＣＵ単位で異なる予測モードの符号化を行うことができ、予測モードとして符号化対象ブロックの隣接画素から予測を行うイントラ予測モード、符号化済みフレームから予測を行うインター予測モード、スキップモード、マージモードが規定されている。これらの複数のブロックサイズと予測モードの組み合わせ（以下、符号化モードと称する）の中から、符号化効率が最も高くなるように決定することが重要な課題となっている。

一般的に最適な符号化モードを決定する方法として、それぞれの符号化モードに対する評価値を算出し、評価値が最小となるように決定する方法が挙げられる。評価値の一例としては以下の式で表されるＲＤコストが用いられる。
ＲＤコスト＝Ｄ＋λＲ
ここで、Ｄは復元信号と原信号の画素単位での差分の二乗和、Ｒは符号化するデータの符号量、λはラグランジアンパラメータである。

上記においてＲの算出には可変長符号化処理を実行する必要があるため、演算コストが高い。Ｒをオーバーヘッド符号量と変換係数符号量に分けた場合に、特に変換係数符号量はオーバーヘッド符号量と比較して符号化シンボル数が多い傾向があるため、可変長符号化処理に要する演算コストの割合も高くなる。もし変換係数符号量の算出を精度良く且つ、演算量の少ない計算で推定することができれば、最適な符号化モード決定に要する演算量を大幅に減少させることができる。

このような課題に対して、以下のような方法が提案されている（例えば、非特許文献１参照）。非特許文献１では以下の式から変換係数符号量Ｒ_{ＣＯＥＦＦ}を推定する。
Ｒ_{ＣＯＥＦＦ}＝α・Ｎ_ｎｚ＋β・Ｅ_ＱＴＣ
ここで、Ｎ_ｎｚは非零係数の個数、Ｅ_ＱＴＣは量子化後係数のＬ１ノルム（絶対値和）、α及びβは重み付け係数をそれぞれ表す。可変長符号化では非零係数のみ正負符号やレベル値を符号化し、更にレベル値はその大きさに準じて符号量が増加するという性質があるため、このようなパラメータを用いて近似することで符号量の推定を実現している。

なお、本明細書において、画像とは、静止画像、または動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。

Y. K. Tu, J. F. Yang, M. T. Sun, "Rate-Distortion Modeling for Efficient H.264/AVC Encoding," IEEE Trans. CSVT, Vol. 17, No. 5, May 2007.

しかしながら、非特許文献１に記載の技術（従来技術と称する）にあっては、符号量の推定精度が十分でないという問題がある。特に対象ブロックサイズが大きい場合においては上記で近似されていない有意係数フラグ等の符号化パラメータによる推定誤差が大きくなってしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、従来技術と同等の演算量で且つ高い精度で変換係数の符号量推定を行うことができる符号量推定方法、映像符号化装置及び符号量推定プログラムを提供することを目的とする。

本発明の一態様は、画像領域を分割した符号化対象ブロックの符号量を推定する映像符号化装置が行う符号量推定方法であって、変換係数をグループに分類する変換係数分類ステップと、分類された前記グループについて、絶対値が予め決められた閾値よりも大きい第１の変換係数の数を算出する第１の係数個数算出ステップと、前記符号化対象ブロックの変換係数の符号量を前記第１の係数個数算出ステップにおいて算出した第１の変換係数の数を用いて推定する符号量推定ステップとを有する符号量推定方法である。

本発明の一態様は、前記符号量推定方法であって、分類された前記グループについて、スキャン順で最終係数位置までの絶対値が予め決められた閾値以下である第２の変換係数の数を算出する第２の係数個数算出ステップをさらに有し、前記符号量推定ステップでは、前記第１の変換係数の数と前記第２の変換係数の数を用いて前記符号化対象ブロックの変換係数の符号量を推定する。

本発明の一態様は、前記符号量推定方法であって、前記変換係数分類ステップでの分類を符号化対象ブロックの特徴量に基づいて決定する。

本発明の一態様は、前記符号量推定方法であって、分類された前記グループについて、前記第１の変換係数の数と前記第２の変換係数の数から発生確率を算出し、前記発生確率に基づいて前記変換係数をグループに再分類する変換係数再分類ステップと、再分類された前記グループについて前記第１の変換係数の数と前記第２の変換係数の数を再度算出する係数個数再算出ステップとをさらに有する。

本発明の一態様は、前記符号量推定方法であって、前記符号量推定ステップで用いる重み付け係数を前記符号化対象ブロックの特徴量に基づいて決定する重み付け係数算出ステップをさらに有し、前記符号量推定ステップでは、前記符号化対象ブロックの変換係数の符号量を前記重み付け係数と前記第１の変換係数の数と前記第２の変換係数の数を用いて推定する。

本発明の一態様は、前記符号量推定方法であって、前記重みづけ係数は、分類された前記グループについて、前記第１の変換係数の数と前記第２の変換係数の数から算出される発生確率に基づいて決定する。

本発明の一態様は、画像領域を分割した符号化対象ブロックの符号量を推定する映像符号化装置であって、変換係数をグループに分類する変換係数分類手段と、分類された前記グループについて、絶対値が予め決められた閾値よりも大きい第１の変換係数の数を算出する第１の係数個数算出手段と、前記符号化対象ブロックの変換係数の符号量を前記第１の係数個数算出手段において算出した第１の変換係数の数を用いて推定する符号量推定手段とを備える映像符号化装置である。

本発明の一態様は、前記符号量推定方法をコンピュータに実行させるための符号量推定プログラムである。

本発明によれば、従来技術と同等の演算量で且つ高い精度で変換係数の符号量推定を行うことができるため、符号化効率の低下を抑えつつ最適な符号化モード決定に要する演算量削減を実現することができるという効果が得られる。

本発明の第１実施形態による映像符号化装置の構成を示すブロック図である。 図１に示す符号化モード決定部１５の構成を示すブロック図である。 図２に示す符号量推定部１５２の構成を示すブロック図である。 図３に示す符号量推定部１５２の処理動作を示すフローチャートである。 図４に示す処理動作を示す図である。 斜め方向、垂直方向、水平方向の３つのスキャン順を示す図である。 第２実施形態における符号量推定部１５２の処理動作を示すフローチャートである。 有意係数フラグのコンテキスト番号によって３つのグループに分類した例を示す図である。 有意係数フラグのコンテキスト番号によって３つのグループに分類した例を示す図である。 変形例１で説明した有意係数フラグのコンテキスト番号を各サブブロックにおける平均によって８つのグループに分類した例を示す図である。 シーケンスサイズによる分類例を示す図である。 予測モードによる分類例を示す図である。 第３実施形態における符号量推定部１５２の構成を示すブロック図である。 図１３に示す符号量推定部１５２の処理動作を示すフローチャートである。 第４実施形態における符号量推定部１５２の構成を示すブロック図である。 図１５に示す符号量推定部１５２の処理動作を示すフローチャートである。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像符号化装置を説明する。図１は同実施形態の構成を示すブロック図である。以下では一例としてＨＥＶＣに準拠した映像符号化装置に本発明を適用した場合の実施形態を示す。ここではＬＣＵサイズは６４ｘ６４、ＣＵサイズは６４ｘ６４〜８ｘ８の４階層を用いた場合について説明する。

映像符号化装置１には符号化対象入力映像の各符号化対象ピクチャについてＬＣＵブロック単位で入力し、このブロックに対応した符号化データを出力する。これが符号化対象ピクチャの各ブロックについてラスタスキャン順に繰り返し実行されることで、符号化対象ピクチャが符号化されることになる。

直交変換部１２には、映像符号化装置１に入力された入力映像とイントラ予測部１９またはインター予測部２１から出力される予測画像との差分が減算器１１により入力され、直交変換を行う。量子化部１３は、直交変換部１２の出力を量子化し、可変長符号化部１４と逆量子化／逆直交変換部１６へ出力する。

可変長符号化部１４は量子化部１３から出力された量子化係数を可変長符号化し、符号化データとして映像符号化装置１から出力する。逆量子化／逆直交変換部１６は量子化部１３から出力された量子化係数に対して逆量子化と逆直交変換を施して出力する。

加算部１７は、逆量子化／逆直交変換部１６から出力された画像と、イントラ予測部１９またはインター予測部２１から出力される予測画像との和を求めて出力する。ループフィルタ部１８は加算部１７によって求めた和に対してループフィルタを適用する。

復号ピクチャメモリはループフィルタ部１８の出力を格納する。復号ピクチャメモリ２０に格納された参照画像は、インター予測部２１に入力し、後の符号化対象ブロックのインター予測において参照画像として利用される。

イントラ予測部１９は、加算部１７が出力する和を参照画像として符号化対象ブロックのイントラ予測画像を生成する。インター予測部２１は復号ピクチャメモリ２０の参照画像を用いて符号化対象ブロックのインター予測画像を生成する。

符号化モード決定部１５は対象ブロックに関する符号化モードを決定する。符号化モードの一例としては、ＬＣＵ内のＣＵブロックサイズ構成、各ＣＵの予測モードが挙げられる。イントラ／インター切替スイッチ２２は符号化モード決定部１５からの出力に応じてイントラ予測部１９の出力と、インター予測部２１の出力とを切り替えて出力する。

次に、図２を参照して、図１に示す符号化モード決定部１５の構成を説明する。図２は、図１に示す符号化モード決定部１５の構成を示すブロック図である。誤差算出部１５１は、対象符号化モードの誤差を算出する。符号量推定部１５２は対象符号化モードの符号量を推定する。符号化コスト算出部１５３は誤差算出部１５１が算出した誤差と、符号量推定部１５２が推定した符号量とから符号化コストを算出する。

符号化コスト比較部１５４は算出した符号化コストを比較し、比較した結果から対象ブロックの最適な符号化モードを決定する。誤差算出部１５１で算出する誤差Ｄは一例としてここでは以下の式から算出する。
Ｄ＝ＥΣ_ｕｖｑ（ｕ，ｖ）^２
ここで、Ｅは直交変換のスケーリングパラメータ、ｑはブロック座標（ｕ，ｖ）の変換係数における量子化誤差である。

符号化コスト算出部１５３で算出する符号化コストは一例としてここでは以下のように算出する。
符号化コスト＝Ｄ＋λ（Ｒ_{ｃｏｅｆｆ}＋Ｒ_ｏｈ）
ここで、Ｒ_{ｃｏｅｆｆ}は符号量推定部１５２から出力される変換係数の符号量、Ｒ_ｏｈは対象ブロックのオーバーヘッド符号量、λはラグランジアンパラメータである。

次に、図３を参照して、図２に示す符号量推定部１５２の構成を説明する。図３は、図２に示す符号量推定部１５２の構成を示すブロック図である。変換係数分類部１５２１は変換係数をＫ個のグループへ分類する。第１係数カウント部１５２２はグループ毎に量子化パラメータによって絶対値が予め決められた閾値θより大きい変換係数である第１の変換係数の個数をカウントする。第２係数カウント部１５２３はグループ毎にスキャン順で最終係数位置までの絶対値が閾値θ以下の変換係数である第２の変換係数の個数をカウントする。符号量算出部１５２４は、第１係数と第２係数の数より符号量を算出する。

次に、図４を参照して、図３に示す符号量推定部１５２の処理動作を説明する。図４は、図３に示す符号量推定部１５２の処理動作を示すフローチャートである。まず、変換係数分類部１５２１は変換係数をＫ個のグループへ分類する（ステップＳ１）。ここでは一例として座標位置に応じて分類するものとする。

次に、第１係数カウント部１５２２はグループ毎に量子化パラメータによって絶対値が予め決められた閾値θより大きい変換係数である第１の変換係数の個数をカウントする（ステップＳ２）。これと並行して、第２係数カウント部１５２３はグループ毎にスキャン順で最終係数位置までの絶対値が閾値θ以下の変換係数である第２の変換係数の個数をカウントする（ステップＳ３）。

ただし、変換係数を４ｘ４サイズ毎のサブブロックに分けた時にサブブロック内の全変換係数が閾値θ以下であるサブブロックについてはカウントしない。なお、本実施形態では、ＬＣＵサイズは６４ｘ６４、ＣＵサイズは６４ｘ６４〜８ｘ８の４階層を用いた場合について説明しているが、ＬＣＵサイズが６４ｘ６４、ＣＵサイズも６４ｘ６４のみの場合も同様になる。どの変換サイズでも必ず４ｘ４のサブブロックに分かれ、符号化され、この時、ＨＥＶＣでは４ｘ４の中が全て閾値以下だと符号化が省略されるためである。

この処理動作を図５に示す例に適用すると、ケース１の場合は、全グループ合計で第１係数は１０個、第２係数は１８個となり、ケース２の場合は、第１係数は５個、第２係数は１４個となる。図５は、図４に示す処理動作を示す図である。

次に、符号量算出部１５２４は以下の式（１）から対象ブロックの変換係数符号量Ｒ_{ｃｏｅｆｆ}を算出する（ステップＳ４）。
Ｒ_{ｃｏｅｆｆ}＝Σ_ｋ＝１ ^Ｋ（Ｎ_１，ｋ＋ｂ_ｋＮ_２，ｋ） ・・・（１）
ここで、ａ_ｋ、ｂ_ｋ、Ｎ_１，ｋ及びＮ_２，ｋはそれぞれｋ番目のグループに対応する第１の変換係数の重み付け係数、第２の変換係数の重み付け係数、第１の変換係数の個数及び第２の変換係数の個数である。ａ_ｋとｂ_ｋは予め決められた値を用いてもよいし、符号化処理の途中で適応的に切り替えてもよい。

なお、前述した説明においては、第１の変換係数の数と第２の変換係数の数とに基づいて符号量を推定する例を説明したが、必ずしも第１、第２の変換係数の数から符号量を求める必要はなく、第１の変換係数の数のみから符号量の推定を行ってもよい。

このように、第１実施形態では、変換係数を１つ以上のグループに分類し、分類されたそれぞれのグループで絶対値が予め決められた閾値よりも大きい第１の変換係数の数とスキャン順で最終係数位置までの絶対値が予め決められた閾値以下である第２の変換係数の数をカウントする。そして、対象ブロックの変換係数の符号量を前記第１の変換係数の数と第２の変換係数の数を用いて符号量を推定する。第１実施形態の特徴は、対象ブロック内を１つ以上のグループに分類する点と、それぞれのグループ内で絶対値が閾値よりも大きい係数の数（非零係数の数）だけでなくスキャン順で最終係数位置までの絶対値が閾値以下の係数の数（零係数の数）をカウントする点である。

一般的に変換係数の符号化を行う際に、同じ変換係数の値を符号化する場合でも、符号化時点での符号化シンボルのコンテキストや発生確率によって生じる符号量が異なる。すなわち、本実施形態のように変換係数を２つ以上のグループに分類し、それぞれのグループ毎にカウントすることで、異なる発生確率を考慮した推定が行えるため精度向上が見込める。また、変換係数の符号化は予め決められたスキャン順で行われる。図６は、斜め方向、垂直方向、水平方向の３つのスキャン順を示す図である。例えばＨＥＶＣでは斜め方向、垂直方向、水平方向の３つのスキャン順が用意されており（図６参照）、イントラモードの場合はイントラ予測方向によって３つの中から選択され、それ以外のモードは斜め方向が用いられる。従来はスキャン順が考慮されていないため、推定される符号量はスキャン順に関わらず同じ値が推定されてしまうが、スキャン順で最終係数位置までの零係数の数もカウントすることでスキャン順が考慮され、更に推定精度を向上させることができる。

＜第２実施形態＞
次に、本発明の第２実施形態による映像符号化装置を説明する。第２実施形態における映像符号化装置の構成は、図１に示す構成と同等の構成であるため、ここでは詳細な説明を省略する。また、第２実施形態における符号量推定部１５２の構成についても図３に示す構成と同等であるため、ここでは詳細な説明を省略する。第２実施形態が第１実施形態と異なる点は、図４に示す処理動作が図７に示す処理動作とした点である。第１実施形態では座標位置に応じて分類したが、グループ毎の発生確率が同じになるように分類することで更なる精度向上が見込める。

図７は第２実施形態における符号量推定部１５２の処理動作を示すフローチャートである。図４に示す処理動作との違いは変換係数の分類方法が対象ブロックのコンテキスト情報等に基づく特徴量に基づいて分類する（ステップＳ５）点である。ステップＳ２〜Ｓ４は、図４に示す処理動作と同等である。以下ではコンテキスト情報等に基づいて分類する例についていくつかの変形例を説明する。なお、ここでは変換サイズが１６ｘ１６の場合について説明するが、それ以外の変換サイズでも同様に適用することができる。

（変形例１）：コンテキスト番号による分類
コンテキストに対する符号化シンボルの発生確率が変動しない場合には、コンテキスト番号が発生確率の違いを表すことになるため、コンテキスト番号によって分類することで高い精度で推定を行うことができるようになる。図８及び図９は、一例として有意係数フラグのコンテキスト番号によって３つのグループに分類した例を示す図である。なお、その他のコンテキストを用いてもよく、それらを複数組み合わせて分類してもよい。

この例では、ＨＥＶＣにおける有意係数フラグのコンテキスト番号選択では、まず次式で定義されるｐａｔｔｅｒｎを算出する。
Ｐａｔｔｅｒｎ＝（ｃｏｎｄＢ×２＋ｃｏｎｄＲ）
ここで、ＣｏｎｄＢ、ＣｏｎｄＲはそれぞれ対象サブブロックＣの右隣接サブブロックＲ、下隣接サブブロックＢについてのサブブロックフラグの値を示す。サブブロックフラグはサブブロック内の全ての変換係数が閾値θ以下である場合には０、それ以外の場合は１となる。

この対象サブブロックＣのｐａｔｔｅｒｎ値によって、各変換係数の有意係数フラグのコンテキスト番号を以下のように決定する（図９参照）。Ｐａｔｔｅｒｎ＝０の場合、左上の係数が２番、左上に近い５つの係数が１番、それ以外の係数が０番となる。Ｐａｔｔｅｒｎ＝１の場合、上から１行目の係数が２番、２行目の係数が１番、それ以外が０番となる。Ｐａｔｔｅｒｎ＝２の場合、左から１列目の係数が２番、２列目の係数が１番、それ以外が０番となる。Ｐａｔｔｅｒｎ＝３の場合、全ての係数が２番となる。そして、各変換係数のグループ番号は有意係数フラグに１を加えたものとして求める。

（変形例２）：サブブロック位置とコンテキスト番号の平均による分類
変形例１ではコンテキスト番号の選択処理を行う必要があるため演算量が増加してしまう可能性がある。そこでサブブロックの位置とそのサブブロック位置が取りうるコンテキスト番号の平均で分類する。このようにすることでコンテキスト番号の選択処理を省略できるため、高速化が期待できる。図１０は、一例として変形例１で説明した有意係数フラグのコンテキスト番号を各サブブロックにおける平均によって８つのグループに分類した例を示す図である。なお、ここでは８グループに分類しているが、発生確率が近いグループを同じグループにしてもよく、例えばグループ（１）から（４）までを１つのグループ、グループ（５）から（８）までを１つのグループとし、計２グループで分類してもよい。

この例では、図１０に示すサブブロックの位置によってＡ，Ｂ，Ｃの３パターンの中から選択される。パターンＡは対象ブロックの右端及び下端以外に位置するサブブロックに適用され、図９に示すのｐａｔｔｅｒｎ４つ全ての各変換係数についての平均を算出し、値が同じ領域を同一グループに分類した場合を表す。パターンＢは対象ブロックの右端（下端を除く）に位置するサブブロックに適用され、図９に示すｐａｔｔｅｒｎ０とｐａｔｔｅｒｎ２の各変換係数についての平均を算出し、値が同じ領域を同一グループに分類した場合を表す。同様にパターンＣは対象ブロックの下端に位置するサブブロックに適用され、図９に示すｐａｔｔｅｒｎ０とｐａｔｔｅｒｎ１の各変換係数についての平均を算出し、値が同じ領域を同一グループに分類した場合を表す。

（変形例３）：その他のバリエーション（コンテキスト情報以外）
その他の特徴量としてシーケンスサイズや予測モードなどが適用できる。変形例２に組み合わせた場合を一例として、それぞれ以下に説明する。まず、シーケンスサイズを適用する場合について説明する。シーケンスサイズが大きい場合には小さい場合と比較して高周波数成分の有意係数の出現確率が小さくなると予想されるので、図１１に示すように高周波数成分のグループ範囲を大きくし、シーケンスサイズが小さい場合にはその逆で低周波数成分のグループ範囲が少なくなるように分類する。図１１は、シーケンスサイズによる分類例を示す図である。こうすることによって、シーケンスサイズによる符号化シンボルの出現確率の変動を考慮することが出来るため、適切な分類が可能になる。

次に、予測モードを適用する場合について説明する。予測モードがインターモードの場合には高周波数成分の有意係数の出現確率が小さくなると予想されるので、図１２に示すように高周波数成分のグループ範囲を大きくし、イントラモードの場合は低周波数成分のグループ範囲が小さくなるようにし、マージモードの場合はその中間になるように分類する。図１２は、予測モードによる分類例を示す図である。こうすることで、上記同様に異なるモードでの符号化シンボルの出現確率の変動を考慮することができ、適切な分類が可能になる。

このように、第２実施形態では、変換係数の分類を対象ブロックのコンテキスト情報に基づく１つ以上の特徴量に基づいて行うようにした。変換係数の発生符号量は符号化するパラメータの発生確率に依存する。そして、コンテキストの違いは発生確率の違いを表しているため、コンテキスト情報に基づく特徴量を用いて変換係数を分類することで適切な分類が期待できる。例えば有意係数フラグのコンテキスト番号は重み付け係数との相関が高いため、より正確な分類が可能となる。なお、有意係数フラグとは、スキャン順で最終係数までの変換係数が０であるか否かを示すフラグのことである。

＜第３実施形態＞
次に、本発明の第３実施形態による映像符号化装置を説明する。第３実施形態における映像符号化装置の構成は、図１に示す構成と同等の構成であるため、ここでは詳細な説明を省略する。第１及び第２実施形態ではコンテキストに対する符号化シンボルの発生確率が変動しない場合には有効であるが、符号化処理の過程で発生確率が変動する場合には推定誤差が生じる可能性がある。そこで、対象ブロックの各グループにおける第１の変換係数の数と第２の変換係数の数に応じてグループを再分類（グループ番号の再割り当て）することで、この問題を解決する。

第３実施形態が第１実施形態と異なる点は、符号量推定部１５２の構成が異なる点である。図１３は、第３実施形態における符号量推定部１５２の構成を示すブロック図である。図１３に示す符号量推定部１５２は、第１及び第２実施形態と異なり符号量推定部１５２に新たに変換係数再分類部１５２５と第１・第２係数再算出部１５２６が追加されている。

変換係数再分類部１５２５は第１の変換係数の数と第２の変換係数の数から計算される発生確率に基づいて変換係数の再分類を行う。第１・第２係数再算出部１５２６では再分類されたグループについて第１の変換係数の数及び第２の変換係数の数を再算出する。

以下に一例として、第２実施形態で説明した変形例１をこの考え方に基づいて変更した場合を説明する。まず、各グループで算出した第１の変換係数の数と第２の変換係数の数から以下のように発生確率ｍ_ｋを算出する。ｋはグループ番号を表すインデックスである。
ｍ_ｋ＝グループｋの第１の変換係数の数／（グループｋの第１の変換係数の数＋グループｋの第２の変換係数の数）
発生確率と対応する再分類用のグループ番号のテーブルを用意しておき、算出した発生確率に最も近いグループ番号を新たに再割り当てする。再分類結果の例として、例えばあるブロックでは図８に示すコンテキスト番号の２と１が示す領域の発生確率が近い値になった場合はそれらの領域を同じグループとして再分類する。また、一方では、あるブロックでは図８に示すコンテキスト番号の１と０が示す領域の発生確率が近い値になった場合はそれらの領域を同じグループとして再分類することになり、より発生確率が近い領域同士が同じグループとして分類することが可能となる。そして、再分類されたグループについて第１の変換係数の数と第２の変換係数の数の合計を再算出し、それらの値を用いて符号量を推定する。

次に、図１４を参照して、図１３に示す符号量推定部１５２の処理動作を説明する。図１４は、図１３に示す符号量推定部１５２の処理動作を示すフローチャートである。まず、変換係数分類部１５２１は、変換係数を対象ブロックの特徴量に応じたグループに分類する（ステップＳ５）。続いて、第１係数カウント部１５２２は、各グループにおいて絶対値が閾値より大きい第１の変換係数の数をカウントする（ステップＳ２）。これと並行して、第２係数カウント部１５２３は、各グループにおいてスキャン順で最終係数位置までの絶対値が閾値以下である第２の変換係数の数をカウントする（ステップＳ３）。

次に、変換係数再分類部１５２５は、各グループで発生確率を算出し、発生確率が近いグループを新たにグループとして再分類する（ステップＳ６）。続いて、第１・第２係数再算出部１５２６は、再分類されたグループについて第１の変換係数の数と第２の変換係数の数を算出する（ステップＳ７）。そして、符号量算出部１５２４は、第１の変換係数の数と第２の変換係数の数から符号量を推定する（ステップＳ４）。

このように、第３実施形態では、分類された各グループについて、第１の変換係数の数と前記第２の変換係数の数から発生確率を算出し、変換係数を発生確率に基づいて１つ以上のグループに再分類する。そして、再分類された各グループについて前記第１の変換係数の数と前記第２の変換係数の数を再算出し、符号量を推定する。

符号化処理の過程で符号化シンボルの発生確率が変動するような場合に対応するため、対象ブロックの中で発生確率を計算し、その結果に応じてグループを再分類することで前述の問題に対応することができる。

＜第４実施形態＞
次に、本発明の第４実施形態による映像符号化装置を説明する。第４実施形態における映像符号化装置の構成は、図１に示す構成と同等の構成であるため、ここでは詳細な説明を省略する。第４実施形態では分類した際の各グループの発生確率に相当する部分を適応的に変える、すなわち、式（１）で用いる重み付け係数を符号化処理の過程で適応的に決定する場合について説明する。このように重み付け係数を適応的に決定することで、ブロック毎に符号化シンボルの発生確率に応じた適切な符号量推定を行うことができる。

図１５は、第４実施形態における符号量推定部１５２の構成を示すブロック図である。第２実施形態との違いは第１の係数の数と第２の係数の数から符号量を推定する前に重み付け係数算出部１５２７によって対象ブロックの特徴量に応じて重み付け係数を決定している点が異なる。なお、第１及び第３実施形態に対しても同じように重み付け決定処理を加えて対応させることもできる。以下に一例として各グループで算出した第１の変換係数の数と第２の変換係数の数から計算される発生確率を用いて重み付け係数を決定する例を示す。その他、対象ブロックの変換サイズや量子化パラメータ、ピクチャサイズなどに応じて重み付け係数を切り替えるようにしてもよい。

まず、重み付け係数算出部１５２７は、各グループで算出した第１の変換係数の数と第２の変換係数の数から発生確率ｍ_ｋを算出する。そして、その値に線形するように重み付け係数ａ_ｋ、ｂ_ｋをそれぞれ算出する。例えば１次関数を用いる場合は以下のように算出される。
ａ_ｋ＝ｓ_１・ｍ_ｋ＋ｔ_１
ｂ_ｋ＝ｓ_２・（１−ｍ_ｋ）＋ｔ_２
ここで、ｓ_１、ｓ_２、ｔ_１、ｔ_２はそれぞれ任意の定数である。そして、式（１）を用いて符号量推定を行う際にこれらの値を用いて算出する。

次に、図１６を参照して、図１５に示す符号量推定部１５２の処理動作を説明する。図１６は、図１５に示す符号量推定部１５２の処理動作を示すフローチャートである。まず、変換係数分類部１５２１は、変換係数を対象ブロックの特徴量に応じたグループに分類する（ステップＳ５）。続いて、第１係数カウント部１５２２は、各グループにおいて絶対値が閾値より大きい第１の変換係数の数をカウントする（ステップＳ２）。これと並行して、第２係数カウント部１５２３は、各グループにおいてスキャン順で最終係数位置までの絶対値が閾値以下である第２の変換係数の数をカウントする（ステップＳ３）。

次に、重み付け係数算出部１５２７は、対象ブロックの特徴量に応じて重み付け係数を決定する（ステップＳ８）。そして、符号量算出部１５２４は、第１の変換係数の数と第２の変換係数の数から符号量を推定する（ステップＳ４）。

このように、第４実施形態では、符号量推定ステップで用いる重み付け係数を対象ブロックの１つ以上の特徴量に基づいて決定する。

符号化処理の過程で符号化シンボルの発生確率が変動するような場合に対応するために、グループを適切に分類するだけでなく重み付け係数を適応的に決定することで、更に正確な符号量推定を実現することができる。

以上説明したように、映像符号化における変換係数の符号量を推定する際に、変換係数を符号化対象ブロックのコンテキスト情報に基づいてグループに分類し、それぞれのグループ毎に変換係数をカウントすることにより、符号量の推定精度向上が可能になる。

前述した実施形態における映像符号化装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

従来技術と同等の演算量で且つ高い精度で変換係数の符号量推定を行うことが不可欠な用途に適用できる。

１・・・映像符号化装置、１１・・・減算部、１２・・・直交変換部、１３・・・量子化部、１４・・・可変長符号化部、１５・・・符号化モード決定部、１６・・・逆量子化／逆直交変換部、１７・・・加算部、１８・・・ループフィルタ部、１９・・・イントラ予測部、２０・・・復号ピクチャメモリ、２１・・・インター予測部、２２・・・イントラ／インター切替スイッチ、１５１・・・誤差算出部、１５２・・・符号量推定部、１５３・・・符号化コスト算出部、１５４・・・符号化コスト比較部、１５２１・・・変換係数分類部、１５２２・・・第１係数カウント部、１５２３・・・第２係数カウント部、１５２４・・・符号量算出部、１５２５・・・変換係数再分類部、１５２６・・・第１・第２係数再算出部、１５２７・・・重み付け係数算出部

Claims (9)

1. 画像領域を分割した符号化対象ブロックの符号量を推定する映像符号化装置が行う符号量推定方法であって、
   変換係数をグループに分類する変換係数分類ステップと、
   分類された前記グループについて、絶対値が予め決められた閾値よりも大きい第１の変換係数の数を算出する第１の係数個数算出ステップと、
   前記符号化対象ブロックの変換係数の符号量を前記第１の係数個数算出ステップにおいて算出した第１の変換係数の数を用いて推定する符号量推定ステップと、
   分類された前記グループについて、スキャン順で最終係数位置までの絶対値が予め決められた閾値以下である第２の変換係数の数を算出する第２の係数個数算出ステップと、
   を有し、
   前記符号量推定ステップでは、前記第１の変換係数の数と前記第２の変換係数の数を用いて前記符号化対象ブロックの変換係数の符号量を推定する、
   符号量推定方法。
2. 画像領域を分割した符号化対象ブロックの符号量を推定する映像符号化装置が行う符号量推定方法であって、
   変換係数をグループに分類する変換係数分類ステップと、
   分類された前記グループについて、絶対値が予め決められた閾値よりも大きい第１の変換係数の数を算出する第１の係数個数算出ステップと、
   前記符号化対象ブロックの変換係数の符号量を前記第１の係数個数算出ステップにおいて算出した第１の変換係数の数を用いて推定する符号量推定ステップと
   を有し、
   前記変換係数分類ステップでの分類を符号化対象ブロックの特徴量に基づいて決定する符号量推定方法。
3. 分類された前記グループについて、前記第１の変換係数の数と前記第２の変換係数の数から発生確率を算出し、前記発生確率に基づいて前記変換係数をグループに再分類する変換係数再分類ステップと、
   再分類された前記グループについて前記第１の変換係数の数と前記第２の変換係数の数を再度算出する係数個数再算出ステップと
   をさらに有する請求項１に記載の符号量推定方法。
4. 前記符号量推定ステップで用いる重み付け係数を前記符号化対象ブロックの特徴量に基づいて決定する重み付け係数算出ステップをさらに有し、
   前記符号量推定ステップでは、前記符号化対象ブロックの変換係数の符号量を前記重み付け係数と前記第１の変換係数の数と前記第２の変換係数の数を用いて推定する請求項１または３に記載の符号量推定方法。
5. 前記重みづけ係数は、分類された前記グループについて、前記第１の変換係数の数と前記第２の変換係数の数から算出される発生確率に基づいて決定する請求項４に記載の符号量推定方法。
6. 画像領域を分割した符号化対象ブロックの符号量を推定する映像符号化装置が行う符号量推定方法であって、
   座標位置に応じて変換係数をグループに分類する変換係数分類ステップと、
   分類された前記グループについて、絶対値が予め決められた閾値よりも大きい第１の変換係数の数を算出する第１の係数個数算出ステップと、
   前記符号化対象ブロックの変換係数の符号量を前記第１の係数個数算出ステップにおいて算出した第１の変換係数の数を用いて推定する符号量推定ステップと
   を有する符号量推定方法。
7. 前記符号量推定ステップでは、分類された前記グループごとに重みづけを行う、
   請求項６に記載の符号量推定方法。
8. 画像領域を分割した符号化対象ブロックの符号量を推定する映像符号化装置であって、
   変換係数をグループに分類する変換係数分類手段と、
   分類された前記グループについて、絶対値が予め決められた閾値よりも大きい第１の変換係数の数を算出する第１の係数個数算出手段と、
   前記符号化対象ブロックの変換係数の符号量を前記第１の係数個数算出手段において算出した第１の変換係数の数を用いて推定する符号量推定手段と、
   分類された前記グループについて、スキャン順で最終係数位置までの絶対値が予め決められた閾値以下である第２の変換係数の数を算出する第２の係数個数算出手段と、
   を備え、
   前記符号量推定手段は、前記第１の変換係数の数と前記第２の変換係数の数を用いて前記符号化対象ブロックの変換係数の符号量を推定する、
   映像符号化装置。
9. 請求項１から７のいずれか１項に記載の符号量推定方法をコンピュータに実行させるための符号量推定プログラム。

Images