JP4295236B2 - 階層間予測符号化方法，装置，階層間予測復号方法，装置，階層間予測符号化プログラム，階層間予測復号プログラムおよびそれらのプログラム記録媒体 - Google Patents

Description

本発明は，階層間予測を行う高能率画像信号符号化方法に関し，特に上位階層の予測信号として下位階層信号から補間フィルタを用いて補間信号を生成する際のフィルタ係数の推定精度を向上させ，画質の向上を可能にした階層間予測符号化／復号方法に関する。

近年，多様化するネットワーク環境・端末環境などに対応するためのスケーラブル符号化が注目を集めている。スケーラブル符号化では，画像信号を階層的に分割し，各階層毎に符号化が行われる。階層分割の方法としては，
（ｉ）空間周波数に関する帯域分割，
（ii）時間周波数に関する帯域分割，
などがある。（ｉ）としては，wavelet 分割（非特許文献１参照），（ii）としては，Motion Compensation Temporal Fitering （ＭＣＴＦ）（非特許文献２参照）が代表例である。

この場合，各階層を独立に符号化したのでは，符号化効率の向上は望めない。符号化効率向上を目的として，階層間の相関を利用した符号化方法が検討されている。具体的には，空間解像度の異なる２つの階層に対して，低い空間解像度の画像信号から高い空間解像度の画像信号を予測する階層間予測が行われる。

下記の非特許文献３では，６タップの補間フィルタを用いて，低解像度の画像信号における半画素位置の画素値を補間し，高解像度の画像信号に対する予測信号としている。
"A theory for multiresolution signal decomposition: the wavelet representation "，S.G.Mallat，IEEE Trans. Pattern Analysis and Machine Intelligence ，Vol.11，No.7，pp.674-693，July，1989. "Three-dimensional subband coding with motion compensation "，J.R.Ohm ，IEEE Trans.Image Processing ，Vol.3 ，No.5，pp.559-571，Sept. ，1994. J.Reichel ，M.Wien and H.Schwarz，"Scalable Video Model 3.0"，ISO/IEC JTC1/SC29/WG11 doc. no. N6716 ，Palma ，October 2004.

上述の従来法の問題は，補間フィルタの係数が固定されている点にある。一般的に，画像の統計的な性質は画像毎に異なる。また，画像の中でも局所的にみればその性質は異なる。このため，階層間予測の効率を向上させるためには，補間フィルタの構成を各画像の局所的な性質に応じて，適応的に変化させる必要がある。ただし，こうした適応処理ではフィルタを表現するための付加情報が増加するため，この付加情報をいかに少なく抑えるかが符号化効率向上の鍵となる。

本発明はかかる事情に鑑みてなされたものであって，付加情報の増加を抑えつつ，画像の局所的な性質に応じて階層間予測における補間フィルタの適応的設計法を確立することを目的とする。

本発明は，上記課題を解決するため，低い空間解像度の信号（下位階層信号）から高い空間解像度の信号（上位階層信号）を補間処理を用いて予測し符号化する動画像符号化において，上位階層の予測信号として下位階層信号から補間信号を生成する際，局所復号画像の時空間的な位置を指定し，指定された位置の信号を用いて，ブロック毎に補間画像生成のためのフィルタ係数を推定することを特徴とする。これにより，フィルタ係数の推定精度を向上させ，復号画像の画質を向上させることができるようになる。

また，本発明は，上記動画像符号化において，参照する復号信号の時空間的な位置を同定する符号化パラメータを符号化情報の一部とすることを特徴とする。これにより，適応的なフィルタ係数を少ない演算量で算出することができる。

また，本発明は，上記動画像符号化において，参照する復号信号の時空間的な位置を示す情報を局所復号信号に基づき決定することもできる。これにより，フィルタ係数の符号量の増加を抑えることができる。さらに，下位階層参照信号の量子化パラメータに応じて，フィルタ係数の推定処理の有無を適応的に切り替えることもできる。これにより，推定結果が信頼に足りる場合にだけ，上記算出されたフィルタ係数を用い，信頼に足りない場合には従来と同様なデフォルトのフィルタ係数を用いることができる。

また，本発明は，低い空間解像度の信号から高い空間解像度の信号を補間処理を用いて予測した予測信号と予測残差信号を加算して復号信号を得る動画像復号において，時空間的な位置が指定された復号信号を用いて，ブロック毎に補間画像生成のためのフィルタ係数を推定することを特徴とする。

また，本発明は，上記動画像復号において，参照する復号信号の時空間的な位置を同定する符号化パラメータを符号化情報より抽出することを特徴とする。

また，本発明は，上記動画像復号において，参照する復号信号の時空間的な位置を示す情報を復号信号に基づき決定することもできる。さらに，下位階層参照信号の量子化パラメータに応じて，フィルタ係数の推定処理の有無を適応的に切り替えることもできる。

符号化時および復号時の処理の概要は，以下のとおりである。
（１）既に符号化され復号された信号のうち，符号化（復号）対象信号と類似する部分をフィルタ係数の算出に用いる参照信号として抽出する。
（２）抽出した参照信号を用いて，入力された画像によって適応的に変化するフィルタ係数を算出する。
（３）算出したフィルタ係数はブロック単位で適用して符号化・復号処理を行う。

以下では，第ｊ階層の時刻ｔのフレーム内の座標［ｘ，ｙ］における画素値をｆ_j （ｘ，ｙ，ｔ）とし，ｆ_j （ｘ，ｙ，ｔ）に対する復号信号をｇ_j （ｘ，ｙ，ｔ）とする。ｆ_j+1 （ｘ，ｙ，ｔ）は，ｆ_j （ｘ，ｙ，ｔ）の２倍の空間解像度となる。例えば，ｆ₀ （ｘ，ｙ，ｔ）がＱＣＩＦサイズであれば，ｆ₁ （ｘ，ｙ，ｔ）はＣＩＦサイズとなる。

第ｊ階層の信号から第ｊ＋１階層の信号への補間は方向毎に各々，次のようになる。ここでは，補間フィルタのタップ数をＮとする。

水平方向の補間：

垂直方向の補間：

斜め方向の補間：

または，

ここで，Ｎ／２および（Ｎ−１）／２を囲む記号は，floor functionであり，それぞれ実数Ｎ／２および（Ｎ−１）／２を越えない最大の整数を表す（以下，同様）。

図１に水平方向の補間の例を示す。図１では，タップ数Ｎが４であり，第ｊ＋１階層の［２ｘ＋１，２ｙ，ｔ］の画素値を，第ｊ階層の［ｘ−１，ｙ，ｔ］，［ｘ，ｙ，ｔ］，［ｘ＋１，ｙ，ｔ］，［ｘ＋２，ｙ，ｔ］の画素値を用いて補間する例を示している。α_-1〜α₂ は_, フィルタ係数である。垂直方向，斜め方向の補間についても同様である。

なお，ｆ_j+1 （ｘ，ｙ，ｔ）を符号化対象信号とする場合，補間に用いる下位階層の信号ｆ_j （ｘ’，ｙ’，ｔ）を下位階層参照信号と呼ぶ。

本発明では，フィルタ係数を矩形領域（縦／横幅Ｌ）単位で適応的に変化させるため，各フィルタ係数をそのまま符号化したのでは，フィルタ係数を表現するための付加情報が増大する。そこで，フィルタ係数に関する付加情報を抑えるために，既に符号化処理の終えた局所復号信号を用いて，フィルタ係数を推定する方法を採用する。本発明は，推定したフィルタ係数の表現方法として，２つのモード（Implicit mode ，Explicit mode ）を備える。この２つのモードについて，詳しくは後述する。

［フィルタ係数の推定］
フィルタ係数の推定は，第ｊ＋１階層の第ｔ₀ フレームの復号信号における矩形領域（縦／横幅Ｌ）毎に行う。この矩形領域をフィルタ係数推定の参照領域と呼ぶ。また，参照領域の補間に用いる第ｊ階層の復号信号における矩形領域（縦／横幅Ｌ／２）と参照領域を合わせて参照領域対と呼び，参照領域対に含まれる信号を参照信号と呼ぶ。図２に，これらの符号化対象信号と参照信号の関係を示す。

第ｊ階層の復号信号から第ｊ＋１階層の復号信号への補間は補間方向毎に各々，次のようになる。

水平方向の補間：

垂直方向の補間：

斜め方向の補間：

または，

第ｔ₀ フレームにおける左上角の座標を［ｘ₀ ，ｙ₀ ］とする参照領域に対して，補間による予測誤差は次のように表せる。

この予測誤差を最小化するフィルタ係数α_n （ｘ₀ ，ｙ₀ ，ｔ₀ ），β_n （ｘ₀ ，ｙ₀ ，ｔ₀ ），γ_n （ｘ₀ ，ｙ₀ ，ｔ₀ ），ζ_n （ｘ₀ ，ｙ₀ ，ｔ₀ ）は各々，以下の連立方程式を解くことで求まる。

α_k （ｘ₀ ，ｙ₀ ，ｔ₀ ）は，式（１２）より得る以下の連立方程式の解として求まる（ただし，ｋは−［（Ｎ−１）／２を越えない最大の整数］から［Ｎ／２を越えない最大の整数］までの整数，以下同様）。

ここで，Ｒ_h ^(j) （ｋ，ｎ），Ｃ_h ^(j) （ｎ）は，次の通りである。

β_k （ｘ₀ ，ｙ₀ ，ｔ₀ ）は，式（１３）より得る以下の連立方程式の解として求まる。

ここで，Ｒ_v ^(j) （ｋ，ｎ），Ｃ_v ^(j) （ｎ）は，次の通りである。

γ_k （ｘ₀ ，ｙ₀ ，ｔ₀ ）は，式（１４）より得る以下の連立方程式の解として求まる。

ここで，Ｒ_dh ^(j) （ｋ，ｎ），Ｃ_dh ^(j) （ｎ）は，次の通りである。なお，以下の＾ｇ_j+1 （２ｘ，２ｙ＋１，ｔ₀ ）は，式（６）より求めた値を用いる。

ζ_k （ｘ₀ ，ｙ₀ ，ｔ₀ ）は，式（１５）より得る以下の連立方程式の解として求まる。

ここで，Ｒ_dv ^(j) （ｋ，ｎ），Ｃ_dv ^(j) （ｎ）は，次の通りである。なお，以下の＾ｇ_j+1 （２ｘ＋１，２ｙ，ｔ₀ ）は，式（５）より求めた値を用いる。

［座標値の符号化］
上述の通り，フィルタ係数は，参照領域を指す座標値［ｘ₀ ，ｙ₀ ，ｔ₀ ］の関数となる。この座標値がフィルタ係数を表現する情報となる。本発明は，この座標値を符号化する方法として，以下の２つのモード（Implicit mode ，Explicit mode ）を備える。

（１）Explicit mode
Explicit mode は，座標値［ｘ₀ ，ｙ₀ ，ｔ₀ ］を符号化情報として復号側に伝送するモードである。座標値の具体的な推定方法は外部から与えられるものとする。座標値の推定方法の一例として，以下のコストを最小化する方法が挙げられる。

［ｘ_o ，ｙ₀ ，ｔ₀ ］＝ｍｉｎ_xr,yr,tr｛Ｅ_h （ｘ_r ，ｙ_r ，ｔ_r ）
＋Ｅ_v （ｘ_r ，ｙ_r ，ｔ_r ）
＋Ｅ_d （ｘ_r ，ｙ_r ，ｔ_r ）｝
ここで，ｍｉｎ_xr,yr,tr｛Ｅ｝は，探索範囲を示すパラメータとして別途，Ｂ_x ，Ｂ_y ，Ｂ_t が与えられときに，−Ｂ_x ＜ｘ_r ≦Ｂ_x −１，−Ｂ_y ＜ｙ_r ≦Ｂ_y −１，−Ｂ_t ＜ｔ_r ≦Ｂ_t −１の範囲で，Ｅが最小となるｘ_r ，ｙ_r ，ｔ_r を意味する。

ただし，参照領域を用いたフィルタ係数の推定を行わずに，デフォルトで設定したフィルタ係数を用いる場合には，デフォルト係数を用いることを示す情報を伝送する。例えば，推定を行うか否かの識別ビットを付加する方法，あるいは，座標値［ｘ₀ ，ｙ₀ ，ｔ₀ ］として取り得ない値によりデフォルト係数を表す方法などがある。

なお，符号化対象を，第ｔフレームにおける左上角の座標を［ｘ，ｙ］とする縦／横幅がＬの矩形領域とし，対応する参照領域を第ｔ₀ フレームにおける左上角の座標を［ｘ₀ ，ｙ₀ ］とする縦／横幅がＬの矩形領域とした場合，変位量［ｘ−ｘ₀ ，ｙ−ｙ₀ ，ｔ−ｔ₀ ］を符号化対象とすることも可能である。

（２）Implicit mode
Implicit mode は，座標値［ｘ₀ ，ｙ₀ ，ｔ₀ ］を符号化情報として復号側に伝送しないモードである。符号化器／復号器で共有できる規則を用いて，復号器側でも符号化器と同一の座標値を再現することにより，座標値の情報の伝送を省略する。具体的な方法を以下に２つ示す。ただし，下位階層参照信号に対する量子化パラメータが閾値以上の値の場合，以下の方法は行わず，デフォルト係数を用いるものとする。これは，画質が極端に低い復号画像に対する類似度探索の結果は，符号化対象信号の類似度の推定値として信頼性に欠けるためである。以下では，下位階層参照信号を，第ｔ_c フレームにおける左上角の座標を［ｘ_c ，ｙ_c ］とする縦／横幅がＬ／２の矩形領域としている。

〔方法１〕：符号化対象信号との類似度が最大となる復号信号中の領域を参照領域とする。類似度Ｓ（ｘ₀ ，ｙ₀ ，ｔ₀ ）としては，符号化対象信号との相関係数を用いる。

ここで，ｘ_r ，ｙ_r ，ｔ_r の探索範囲を示すパラメータＢ_x ，Ｂ_y ，Ｂ_t は，別途与えられる。ｍａｘ_xr,yr,trＳ（ｘ_r ，ｙ_r ，ｔ_r ）は，−Ｂ_x ＜ｘ_r ≦Ｂ_x −１，−Ｂ_y ＜ｙ_r ≦Ｂ_y −１，−Ｂ_t ＜ｔ_r ≦Ｂ_t −１の範囲で，類似度Ｓが最大となるｘ_r ，ｙ_r ，ｔ_r である。

ただし，類似度の最大値が閾値Φ_S を下回る場合：
Ｓ（ｘ₀ ，ｙ₀ ，ｔ₀ ）≦Φ_S
参照領域を用いたフィルタ係数の推定は行わず，デフォルト係数を用いるものとする。

〔方法２〕：符号化対象信号との距離が最小となる復号信号中の領域を参照領域とする。距離関数Ｄ（ｘ₀ ，ｙ₀ ，ｔ₀ ）としては，符号化対象信号との二乗誤差和を用いる。

ここで，ｘ_r ，ｙ_r ，ｔ_r の探索範囲を示すパラメータＢ_x ，Ｂ_y ，Ｂ_t は，別途与えられる。ｍｉｎ_xr,yr,trＤ（ｘ_r ，ｙ_r ，ｔ_r ）は，−Ｂ_x ＜ｘ_r ≦Ｂ_x −１，−Ｂ_y ＜ｙ_r ≦Ｂ_y −１，−Ｂ_t ＜ｔ_r ≦Ｂ_t −１の範囲で，距離関数Ｄが最大となるｘ_r ，ｙ_r ，ｔ_r である。

なお，距離関数の最小値が閾値Φ_D を上回る場合：
Ｄ（ｘ₀ ，ｙ₀ ，ｔ₀ ）≧Φ_D
参照領域を用いたフィルタ係数の推定は行わず，デフォルト係数を用いるものとする。

なお，Implicit mode およびExplicit mode の切り替えは，フレーム単位，あるいはシーケンス単位で行う。

本発明により解像度の異なるフレーム間の予測を行う際，画像の局所的な性質に応じて，適応的に予測を行うことが可能となり，符号化効率の向上が見込める。また，本発明は二つのモードを与えることにより，符号化レートに応じた使い分けが可能である。このうち，Implicit mode は，低レートにおいてオーバヘッドの増加を抑えたい場合，特に有効である。また，Implicit mode は，量子化パラメータを用いて復号信号によるフィルタ係数推定のＯＮ／ＯＦＦを適応的に切り替えることが可能である。復号画像の画質劣化が大きくフィルタ係数推定の参照信号として信頼性に欠けると判断した場合には，フィルタ係数推定を行わないため，予測性能の低下を回避することができる。

［符号化処理］
本発明の実施形態（Explicit mode ）について図面を参照して説明する。図３は，本発明の実施の形態によるExplicit mode のときの符号化処理のフローチャートである。

ステップＳ１０では，フィルタ係数を復号画像から推定するか，それともデフォルトとして用意したデフォルト係数を使用するのかを選択する。選択の方法は，別途与えられるものとする。例えば，以下のような量子化パラメータを用いた方法を用いる。

第ｔ₀ フレームをＬ×Ｌの矩形領域に分割し，例えば図４に示すように，左上角の座標が（ｎＬ，ｎＬ），（ｎＬ，（ｎ−１）Ｌ），（（ｎ−１）Ｌ，ｎＬ），（（ｎ−１）Ｌ，（ｎ−１）Ｌ）となる矩形領域の量子化パラメータを各々Ｑ_0,0 ，Ｑ_0,-1，Ｑ_-1,0，Ｑ_-1,-1 とする。参照領域の座標値が［ｘ₀ ，ｙ₀ ］であるとき，閾値Ｑ_Th，および量子化パラメータＱ_0,0 ，Ｑ_0,-1，Ｑ_-1,0，Ｑ_-1,-1 から算出される＾Ｑを用いて，次のような適応処理を行う。

（ｉ）＾Ｑ＜Ｑ_Thであれば，上述のフィルタ係数算出処理により求めたフィルタ係数を用いて，アップサンプリングを行う。

（ii）＾Ｑ≧Ｑ_Thであれば，予めデフォルトとして用意したフィルタ係数を用いて，アップサンプリングを行う。

なお，＾Ｑは次式の通り求まる。

フィルタ係数としてデフォルト係数を用いる場合，ステップＳ１１へ進み，デフォルト係数を読み込み，その後，ステップＳ１６へ進む。

フィルタ係数を復号画像から推定する場合，ステップＳ１２へ進み，符号化対象信号および参照信号を入力として，フィルタ係数を算出するための参照領域の座標値を推定する処理を行い，同座標値を出力する。なお，座標値の推定方法は別途与えられるものとする。

次に，ステップＳ１３では，参照領域，同領域を指す座標値を入力として，各方向毎の自己相関を算出する処理を行い，各方向毎の自己相関を出力する。具体的な算出方法は，式（１７），式（２０），式（２３），式（２６）に従う。また，ステップＳ１４では，符号化対象信号，参照領域，同領域を指す座標値を入力として，各方向毎の相互相関を算出する処理を行い，各方向毎の相互相関を出力する。具体的な算出方法は，式（１８），式（２１），式（２４），式（２７）に従う。

その後，ステップＳ１５では，各方向毎の自己相関および相互相関を入力として，アップサンプリングによる予測誤差を最小とするフィルタ係数を解とする連立方程式を解く処理を行い，求めた解を出力する。連立方程式は，具体的には，式（１６），式（１９），式（２２），式（２５）となる。また，同方程式の具体的な解法は，ガウス・ザイデル法のような適当な方法が外部から与えられるものとする。

ステップＳ１６では，下位階層参照信号，フィルタ係数を入力とし，アップサンプリング処理を行い，同処理後の信号を出力する。

ステップＳ１７では，ステップＳ１６で出力されるアップサンプリング処理後の信号，符号化対象信号を入力として，両者の差分信号（予測残差信号）を生成する処理を行い，同差分信号を出力する。

ステップＳ１８では，すべてのブロックに対して処理を終えたかどうかを判定し，すべてのブロックについて処理が終えるまで，ステップＳ１０〜Ｓ１７の処理を繰り返す。

続いて，本発明の実施形態（Implicit mode ）について図面を参照して説明する。図５は，本発明の実施の形態によるImplicit mode のときの符号化処理のフローチャートである。

まず，ステップＳ２０では，下位階層参照信号の符号化に用いた量子化パラメータを入力とし，同パラメータが閾値以上であるか否かの判定を行い，閾値以上である場合，真値を出力し，そうでなければ，偽値を出力する。真値を出力した場合，ステップＳ２４へ制御を以降し，デフォルトとして用意したデフォルト係数を使用するアップサンプリング処理へと進む。一方，偽値を出力した場合，ステップＳ２１以降の判定処理に進む。

ステップＳ２１では，下位階層参照信号および参照信号を入力として，フィルタ係数の算出に用いる参照領域の座標値を推定する処理を行い，同座標値，および最大類似度を出力する。同座標値としては，式（２８）で与えられる類似度を最大にする参照領域を探索するものとする。

ステップＳ２２では，ステップＳ２１で出力された参照領域の座標値，最大類似度をレジスタに格納する。次に，ステップＳ２３では，ステップＳ２２で格納された最大類似度をレジスタより読み込み，同最大類似度が閾値以下であるか否かの判定を行い，閾値以下である場合，真値を出力し，そうでなければ，偽値を出力する。真値を出力した場合，ステップＳ２４へ制御を移行し，デフォルトとして用意したデフォルト係数を使用するアップサンプリング処理へと進む。一方，偽値を出力した場合，ステップＳ２５以降の，復号画像から推定したフィルタ係数を使用するアップサンプリング処理へと進む。

ステップＳ２４以降の処理は，図３のステップＳ１１以降の処理と同様である。

最後に，ステップＳ３０では，すべてのブロックに対して処理を終えたかどうかを判定し，すべてのブロックについて処理が終えるまで，ステップＳ２０〜Ｓ２９の処理を繰り返す。

図６に符号化装置（Explicit mode ）のブロック図を示す。なお，図６では，主に本発明に関係する部分だけを示しており，予測残差信号の符号化やその符号化信号を復号する処理部分などは，従来の技術をそのまま用いることができるので省略している。後述する図７も同様である。

符号化対象信号は，符号化対象信号記憶部１０１に記憶される。フィルタ係数算出方法選択部１０２は，符号化対象信号記憶部１０１から読み出した符号化対象信号を入力として，フィルタ係数を復号画像から推定するか，それともデフォルトとして用意したデフォルト係数を使用するのかを選択する。選択の方法は，別途与えられるものとする。

デフォルト係数記憶部１０３には，あらかじめデフォルト係数が格納されており，フィルタ係数算出方法選択部１０２によってデフォルト係数の使用が選択された場合，デフォルト係数記憶部１０３から読み出されたフィルタ係数が，フィルタ係数記憶部１１４に書き出される。

フィルタ係数を復号画像から推定する場合，参照領域座標推定部１０４は，符号化対象信号記憶部１０１から読み出した符号化対象信号を入力として，参照領域を推定する処理を行い，参照領域を同定する座標値を参照領域座標記憶部１０５に書き込む。また，同座標値を符号化情報として出力する。

参照信号記憶部１０６は，参照領域座標記憶部１０５から読み出した参照領域の座標値を入力とし，同座標値に対応する信号を復号信号記憶部１０７から読み出し，その信号を参照信号として記憶する。

フィルタ係数算出部１０８は，符号化対象信号記憶部１０１から読み出した符号化対象信号，参照信号記憶部１０６から読み出した参照信号を入力として，以下の３つの処理を行い，フィルタ係数を出力する。

自己相関算出部１０９は，参照信号記憶部１０６から読み出した参照信号を入力とし，方向毎の自己相関を算出する処理を行い，算出結果を自己相関記憶部１１０に書き出す。具体的な算出方法は，式（１７），式（２０），式（２３），式（２６）に従う。

また，相互相関算出部１１１は，符号化対象信号および参照信号記憶部１０６から読み出した参照信号を入力とし，方向毎の相互相関を算出する処理を行い，算出結果を相互相関記憶部１１２に書き出す。具体的な算出方法は，式（１８），式（２１），式（２４），式（２７）に従う。

連立方程式求解部１１３は，自己相関記憶部１１０および相互相関記憶部１１２から読み出した自己相関，相互相関を入力として，予測誤差を最小とするフィルタ係数を解とする連立方程式を解く処理を行い，求めた解をフィルタ係数記憶部１１４に書き出す。連立方程式は，具体的には，式（１６），式（１９），式（２２），式（２５）となる。また，同方程式の具体的な解法は，ガウス・ザイデル法のような適当な方法が外部から与えられるものとする。

アップサンプリング信号生成部１１５は，フィルタ係数記憶部１１４から読み出したフィルタ係数，復号信号記憶部１０７から読み出した下位階層参照信号の復号信号を入力として，アップサンプリング処理を行い，符号化対象信号に対するアップサンプリング信号をアップサンプリング信号記憶部１１６に書き出す。具体的なアップサンプリング処理は，式（１），式（２），式（３），式（４）に従う。

予測残差信号算出部１１７は，符号化対象信号およびアップサンプリング信号記憶部１１６から読み出したアップサンプリング信号を入力として，両者の差分信号（予測残差信号）を生成する処理を行い，同残差信号を出力する。

図７に符号化装置（Implicit mode ）のブロック図を示す。

符号化対象信号記憶部２０１は，図６の符号化対象信号記憶部１０１と同様に，符号化対象信号を記憶する。フィルタ係数算出方法第一判定部２０２は，量子化パラメータ記憶部２０３から読み出した下位階層参照信号に対する量子化パラメータを入力として，同パラメータが閾値より大きいか否か判定する処理を行い，真偽値を出力する。出力が真値の場合（同パラメータが閾値より大きい場合），デフォルト係数を読み出す処理に移る。一方，出力が偽値の場合，フィルタ係数算出方法第二判定部２０４による次の判定処理に移る。

フィルタ係数算出方法第二判定部２０４は，参照領域座標推定部２０５，最大類似度記憶部２０６，フィルタ係数算出方法判定部２０８，閾値記憶部２０９からなる。

参照領域座標推定部２０５は，符号化対象信号を入力として，参照領域を推定する処理を行い，参照領域を同定する座標値を参照領域座標記憶部２０７に書き込む。また，この推定時には類似度を最大にする領域を求めており，その際，求まった類似度の最大値を最大類似度記憶部２０６に書き込む。

フィルタ係数算出方法判定部２０８は，最大類似度記憶部２０６から読み出した最大類似度，および閾値記憶部２０９から読み出した閾値を入力とし，最大類似度が閾値より大きいか否か判定する処理を行い，真偽値を出力する。出力が偽値の場合，デフォルト係数を読み出す処理に移る。一方，出力が真値の場合，フィルタ係数を算出する処理に移る。このとき，参照領域座標記憶部２０７から読み出した参照領域の座標値を入力とし，同座標値に対応する信号を復号信号記憶部２１１から読み出し，参照信号記憶部２１２に書き出す。

デフォルト係数記憶部２１０およびフィルタ係数算出部２１３以降の処理は，Explicit mode における図６のデフォルト係数記憶部１０３およびフィルタ係数算出部１０８以降の処理と同じである。

［復号処理］
本発明の実施形態（Explicit mode ）について図面を参照して説明する。図８は，本発明の実施の形態によるExplicit mode のときの復号処理のフローチャートである。

ステップＳ４０では，符号化情報を入力とし，符号化情報に含まれる情報を解析し，フィルタ係数を復号信号から推定するか，それともデフォルトとして用意したデフォルト係数を使用するのか判別し，判別結果を出力する。なお，判別結果がフィルタ係数を復号信号から推定することを示した場合には，併せて参照領域を指す座標値を符号化情報より抽出し，出力する。

フィルタ係数としてデフォルト係数を用いる場合，ステップＳ４１へ進み，デフォルト係数を読み込み，その後，ステップＳ４６へ進む。

フィルタ係数を復号画像から推定する場合，ステップＳ４２へ進み，符号化情報に含まれる参照領域を指す座標値を入力とし，同座標値が指す参照信号を読み込み，同参照信号を出力する。以降のステップＳ４３〜Ｓ４６の処理は，図３のステップＳ１３〜Ｓ１６の処理と同様である。

ステップＳ４７では，ステップＳ４６で出力されるアップサンプリング信号，同アップサンプリング信号と符号化対象信号との差分信号（予測残差信号）に対する復号信号を入力として，両者を加算する処理を行い，符号化対象信号の復号信号を出力する。

ステップＳ４８では，すべてのブロックに対して処理を終えたかどうかを判定し，すべてのブロックについて処理が終えるまで，ステップＳ４０〜Ｓ４７の処理を繰り返す。

本発明の実施形態（Implicit mode ）について図面を参照して説明する。図９は，本発明の実施の形態によるImplicit mode のときの復号処理のフローチャートである。

ステップＳ５０では，符号化情報に含まれる下位階層参照信号の符号化に用いた量子化パラメータを入力とし，同パラメータが閾値以上であるか否かの判定を行い，閾値以上である場合，真値を出力し，そうでなければ，偽値を出力する。真値を出力した場合，ステップＳ５４へ進みデフォルトとして用意したデフォルト係数を使用するアップサンプリング処理へと進む。一方，偽値を出力した場合，ステップＳ５１以降の２つ目の判定処理に進む。

以降のステップＳ５１〜Ｓ５８の処理は，図５のステップＳ２１〜Ｓ２８の処理と同様である。ステップＳ５９の処理は，図８のステップＳ４７の処理と同様である。最後にステップＳ６０では，すべてのブロックに対して処理を終えたかどうかを判定し，すべてのブロックについて処理が終えるまで，ステップＳ５０〜Ｓ５９の処理を繰り返す。

図１０に復号装置（Explicit mode ）のブロック図を示す。

符号化情報解析部３００は，符号化情報を入力とし，符号化情報中のヘッダ情報，予測残差信号の復号信号を解析し，各々，ヘッダ情報記憶部３０１，予測残差信号記憶部３１８に書き出す。ここで，ヘッダ情報には，デフォルト係数を使用するか否かを示す判別情報，および，デフォルト係数を使用しない場合に限り参照領域の座標値情報が含まれる。予測残差信号とは，下位階層参照信号のアップサンプリングにより生成した予測信号と符号化対象信号との差分信号である。

フィルタ選択部３０２は，ヘッダ情報記憶部３０１から読み出したヘッダ情報中の判別情報を入力とし，同判別情報に応じてデフォルト係数を使用する処理，あるいは，フィルタ係数を推定する処理のいずれかに分岐する。

参照信号記憶部３０６〜アップサンプリング信号記憶部３１６の機能は，図６の参照信号記憶部１０６〜アップサンプリング信号記憶部１１６の機能と同様である。

復号信号生成部３１７は，アップサンプリング信号記憶部３１６から読み出したアップサンプリング信号および予測残差信号記憶部３１８から読み出した予測残差信号の復号信号を入力として，両者を加算する処理を行い，符号化対象信号の復号信号を出力する。また，出力された復号信号は復号信号記憶部３０７へも書き出される。

図１１に復号装置（Implicit mode ）のブロック図を示す。

符号化情報解析部４００は，符号化情報を入力とし，符号化情報中のヘッダ情報，予測残差信号の復号信号を解析し，各々，ヘッダ情報記憶部４０１，予測残差信号記憶部４２３に書き出す。ここで，ヘッダ情報には，下位階層参照信号の量子化パラメータが含まれる。予測残差信号とは下位階層参照信号のアップサンプリングにより生成した予測信号と符号化対象信号との差分信号である。

フィルタ係数算出方法第一判定部４０２は，量子化パラメータ閾値記憶部４０３から読み出した閾値，ヘッダ情報記憶部４０１から読み出した下位階層参照信号に対する量子化パラメータを入力として，同パラメータが閾値より大きいか否か判定する処理を行い，真偽値を出力する。出力が真値の場合（同パラメータが閾値より大きい場合），デフォルト係数を読み出す処理に移る。一方，出力が偽値の場合，フィルタ係数算出方法第二判定部４０４の判定処理に移る。

フィルタ係数算出方法第二判定部４０４〜アップサンプリング信号記憶部４２１の機能は，図７のフィルタ係数算出方法第二判定部２０４〜アップサンプリング信号記憶部２２１の機能と同様である。

復号信号生成部４２２は，アップサンプリング信号記憶部４２１から読み出したアップサンプリング信号および予測残差信号記憶部４２３から読み出した予測残差信号の復号信号を入力として，両者を加算する処理を行い，符号化対象信号の復号信号を出力する。また，出力された復号信号は復号信号記憶部４１１へも書き出される。

以上説明した符号化処理および復号処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

水平方向の補間を説明する図である。 符号化対象信号と参照信号の関係を示す図である。 Explicit mode のときの符号化処理のフローチャートである。 フィルタ係数算出方法を選択する処理を説明するための図である。 Implicit mode のときの符号化処理のフローチャートである。 符号化装置（Explicit mode ）のブロック図である。 符号化装置（Implicit mode ）のブロック図である。 Explicit mode のときの復号処理のフローチャートである。 Implicit mode のときの復号処理のフローチャートである。 復号装置（Explicit mode ）のブロック図である。 復号装置（Implicit mode ）のブロック図である。

符号の説明

１０１，２０１ 符号化対象信号記憶部
１０２ フィルタ係数算出方法選択部
１０３，２１０，３０３，４１０ デフォルト係数記憶部
１０４，２０５，４０５ 参照領域座標推定部
１０５，２０７，３０５，４０７ 参照領域座標記憶部
１０６，２１２，３０６，４１２ 参照信号記憶部
１０７，２１１，３０７，４１１ 復号信号記憶部
１０８，２１３，３０８，４１３ フィルタ係数算出部
１０９，２１４，３０９，４１４ 自己相関算出部
１１０，２１５，３１０，４１５ 自己相関記憶部
１１１，２１６，３１１，４１６ 相互相関算出部
１１２，２１７，３１２，４１７ 相互相関記憶部
１１３，２１８，３１３，４１８ 連立方程式求解部
１１４，２１９，３１４，４１９ フィルタ係数記憶部
１１５，２２０，３１５，４２０ アップサンプリング信号生成部
１１６，２２１，３１６，４２１ アップサンプリング信号記憶部
１１７，２２２ 予測残差信号算出部
２０２，４０２ フィルタ係数算出方法第一判定部
２０３ 量子化パラメータ記憶部
２０４，４０４ フィルタ係数算出方法第二判定部
２０６，４０６ 最大類似度記憶部
２０９，４０９ 閾値記憶部
２０８，４０８ フィルタ係数算出方法判定部
３００，４００ 符号化情報解析部
３０１，４０１ ヘッダ情報記憶部
３０２ フィルタ選択部
３０４ 参照領域座標読み込み部
３１８，４２３ 予測残差信号記憶部
４０３ 量子化パラメータ閾値記憶部

Claims (14)

1. 低い空間解像度の下位階層信号から高い空間解像度の上位階層信号を補間処理を用いて予測し符号化する動画像符号化方法において，
   上位階層の予測信号として下位階層参照信号から補間信号を生成する際に，過去に符号化および復号した局所復号画像の時空間的な位置を指定するステップと，
   指定された位置の参照信号を用いて所定のブロック毎に補間画像生成のための前記局所復号画像における上位階層の予測信号の予測誤差を最小化するフィルタ係数を算出するステップと，
   算出したフィルタ係数に基づき，下位階層参照信号の復号信号を入力としてアップサンプリング処理を行い，上位階層の符号化対象信号に対するアップサンプリング信号を出力するステップと，
   前記符号化対象信号と前記アップサンプリング信号との差分から予測残差信号を生成し出力するステップとを有する
   ことを特徴とする階層間予測符号化方法。
2. 請求項１記載の階層間予測符号化方法において，
   前記フィルタ係数の算出時に参照する局所復号画像の時空間的な位置を同定する符号化パラメータを，符号化情報の一部として出力する
   ことを特徴とする階層間予測符号化方法。
3. 請求項１記載の階層間予測符号化方法において，
   前記フィルタ係数の算出時に参照する局所復号画像の時空間的な位置を示す情報を，符号化対象信号との相関係数により定められる類似度が最大となる局所復号信号中の領域または符号化対象信号との画素値の距離が最小となる局所復号信号中の領域から決定する
   ことを特徴とする階層間予測符号化方法。
4. 請求項３記載の階層間予測符号化方法において，
   前記下位階層参照信号の量子化パラメータがある閾値以上であるか否かを判定し，前記閾値より小さい場合には，前記フィルタ係数の算出により推定されたフィルタ係数を用いてアップサンプリング処理を行い，前記閾値以上である場合には，あらかじめデフォルトとして定められたフィルタ係数を用いてアップサンプリング処理を行う
   ことを特徴とする階層間予測符号化方法。
5. 低い空間解像度の下位階層信号から高い空間解像度の上位階層信号を補間処理を用いて予測し符号化する動画像符号化装置において，
   上位階層の予測信号として下位階層参照信号から補間信号を生成する際に，過去に符号化および復号した局所復号画像の時空間的な位置を指定する手段と，
   指定された位置の参照信号を用いて所定のブロック毎に補間画像生成のための前記局所復号画像における上位階層の予測信号の予測誤差を最小化するフィルタ係数を算出する手段と，
   算出したフィルタ係数に基づき，下位階層参照信号の復号信号を入力としてアップサンプリング処理を行い，上位階層の符号化対象信号に対するアップサンプリング信号を出力する手段と，
   前記符号化対象信号と前記アップサンプリング信号との差分から予測残差信号を生成し出力する手段とを備える
   ことを特徴とする階層間予測符号化装置。
6. 低い空間解像度の下位階層信号から高い空間解像度の上位階層信号を補間処理を用いて予測した予測信号と予測残差信号とを加算して復号画像信号を得る動画像復号方法において，
   上位階層の予測信号として下位階層参照信号から補間信号を生成する際に，過去に復号した局所復号画像の時空間的な位置を指定するステップと，
   指定された位置の参照信号を用いて所定のブロック毎に補間画像生成のための前記局所復号画像における上位階層の予測信号の予測誤差を最小化するフィルタ係数を算出するステップと，
   算出したフィルタ係数に基づき，下位階層参照信号の復号信号を入力としてアップサンプリング処理を行い，上位階層の復号対象信号に対するアップサンプリング信号を出力するステップと，
   符号化情報から復号した予測残差信号と前記アップサンプリング信号とを加算し上位階層の復号画像信号を生成し出力するステップとを有する
   ことを特徴とする階層間予測復号方法。
7. 請求項６記載の階層間予測復号方法において，
   前記フィルタ係数の算出時に参照する局所復号画像の時空間的な位置を同定する符号化パラメータを，符号化情報から抽出する
   ことを特徴とする階層間予測復号方法。
8. 請求項６記載の階層間予測復号方法において，
   前記フィルタ係数の算出時に参照する局所復号画像の時空間的な位置を示す情報を，復号対象信号との相関係数により定められる類似度が最大となる局所復号信号中の領域または復号対象信号との画素値の距離が最小となる局所復号信号中の領域から決定する
   ことを特徴とする階層間予測復号方法。
9. 請求項８記載の階層間予測復号方法において，
   前記下位階層参照信号の量子化パラメータがある閾値以上であるか否かを判定し，前記閾値より小さい場合には，前記フィルタ係数の算出により推定されたフィルタ係数を用いてアップサンプリング処理を行い，前記閾値以上である場合には，あらかじめデフォルトとして定められたフィルタ係数を用いてアップサンプリング処理を行う
   ことを特徴とする階層間予測復号方法。
10. 低い空間解像度の下位階層信号から高い空間解像度の上位階層信号を補間処理を用いて予測した予測信号と予測残差信号とを加算して復号画像信号を得る動画像復号装置において，
    上位階層の予測信号として下位階層参照信号から補間信号を生成する際に，過去に復号した局所復号画像の時空間的な位置を指定する手段と，
    指定された位置の参照信号を用いて所定のブロック毎に補間画像生成のための前記局所復号画像における上位階層の予測信号の予測誤差を最小化するフィルタ係数を算出する手段と，
    算出したフィルタ係数に基づき，下位階層参照信号の復号信号を入力としてアップサンプリング処理を行い，上位階層の復号対象信号に対するアップサンプリング信号を出力する手段と，
    符号化情報から復号した予測残差信号と前記アップサンプリング信号とを加算し上位階層の復号画像信号を生成し出力する手段とを備える
    ことを特徴とする階層間予測復号装置。
11. 請求項１から請求項４までのいずれかに記載の階層間予測符号化方法をコンピュータに実行させるための階層間予測符号化プログラム。
12. 請求項６から請求項９までのいずれかに記載の階層間予測復号方法をコンピュータに実行させるための階層間予測復号プログラム。
13. 請求項１から請求項４までのいずれかに記載の階層間予測符号化方法をコンピュータに実行させるための階層間予測符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
14. 請求項６から請求項９までのいずれかに記載の階層間予測復号方法をコンピュータに実行させるための階層間予測復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images