JP4690371B2 - スケーラブル画像符号化方法，復号方法，符号化装置，復号装置およびそれらのプログラムとその記録媒体 - Google Patents

Description

本発明は，高能率画像信号符号化方法および復号方法に関し，特に，例えば水面等の映像のように高周波を多く含むテクスチャ領域や剛体移動モデルの成立しない映像について，階層間予測符号化を適用すると生ずる補間処理による予測性能の低下を防ぐことを可能にした階層間予測符号化方法，復号方法に関する。

近年，多様化するネットワーク環境・端末環境などに対応するためのスケーラブル符号化が注目を集めている。スケーラブル符号化では，画像信号を階層的に分割し，各階層毎に符号化が行われる。階層分割の方法としては，（ｉ）空間周波数に関する帯域分割，（ii）時間周波数に関する帯域分割などがある。（ｉ）としては，ウェーブレット(wavelet) 分割，（ii）としては，Motion Compensation Temporal Filtering（ＭＣＴＦ）が代表例である。

この場合，各階層を独立に符号化したのでは，符号化効率の向上は望めない。符号化効率向上を目的として，階層間の相関を利用した符号化方法が検討されている。具体的には，空間解像度の異なる２つの階層に対して，低い空間解像度の画像信号から高い空間解像度の画像信号を予測する階層間予測が行われる。ＪＳＶＣ［非特許文献１参照］では，補間フィルタを用いて，低解像度の画像信号における半画素位置の画素値を補間し，高解像度の画像信号に対する予測信号としている。

また，階層間予測符号化とは別に，グラフィックスのアプリケーションに有用なツールとして利用可能な技術として，目的とするテクスチャ画像に対する人間の知覚にマッチするテクスチャを合成する方法が，非特許文献２において提案されている。
H.Schwarz ，and D.Marpe ，and T.Wiegand ，Overview of the Scalable H.264/MPEG4-AVC Extension，IEEE International Conference on Image Processing （ICIP’06），Atlanta ，GA，USA ，October 2006． D.Heeger，and J.Bergen Pyramid-Based Texture Analysis/Synthesis. Proc ACM SIGGRAPH 95 ，1995．

ＪＳＶＣにおける予測性能の向上は，スケーラブル符号化が内在する分割損を低減するために不可欠な要素である。しかし，下位階層の４倍の画素数をもつ上位階層の信号を補間処理のみで予測することには限界がある。このため，予測誤差の低減率は，符号化レートが大きくなると飽和する。さらに，低レートでは，下位階層から高周波成分が大きく欠落するため，補間処理による予測性能は大きく低下する。こうした予測性能の低下は，高周波を多く含むテクスチャ領域，および剛体移動モデルの成立しない水面等のシーンにおいて，顕著となる。

本発明はかかる事情に鑑みてなされたものであって，従来の補間処理ベースの階層間予測符号化に代わる手法として，画像の局所的な性質に応じて，テクスチャ合成に基づき上位階層の信号を生成する適応処理を確立することを目的とする。

本発明では，テクスチャ合成と階層間予測を組み合わせる手法を用いる。テクスチャ合成によって生成された信号を当該階層の復号信号とする。テクスチャ合成に必要なテクスチャの特徴量に対して，階層間予測により情報量の削減を図る。下位階層の復号信号に基づき，当該階層のテクスチャの特徴量を予測する。この予測された特徴量を予測特徴量と呼ぶ。この予測特徴量に，付加情報として与えられる予測残差特徴量を付加したものを当該階層のテクスチャの特徴量とする。

従来，ＪＳＶＣにおいては，予測信号と原信号の残差信号を符号化対象として，残差信号波形の正確な再現を目的としていた。これ対し，本発明では，当該階層の信号をテクスチャ合成の対象とみなし，そのテクスチャの特徴量を符号化対象とした点が従来法とは異なる。

テクスチャ合成の方法は，ここでは，非特許文献２の方法を使用する。この方法では，テクスチャ合成処理の入力として，Steerable pyramid と呼ぶ方向性フィルタバンクの出力として得られた係数のヒストグラムを用いる。同方法の概要を以下に示す。同方法の入力は，適当な初期画像（上記非特許文献２では，白色雑音画像），および目標とするテクスチャ画像（以後，目標テクスチャ画像と呼ぶ）に対する各々の画素値ヒストグラム，前記両画像に対する各々の各サブバンドのヒストグラムとする。サブバンド分解には，Steerable pyramid を用いる。テクスチャ合成の出力として得られる画像を合成画像と呼ぶ。なお，以下の処理の開始時点では，合成画像は上記の初期画像で初期化されている。

（１）合成画像の画素値ヒストグラム，目標テクスチャ画像の画素値ヒストグラムを入力として，合成画像の画素値ヒストグラムを目標テクスチャ画像のそれに近づける。

（２）上記（１）で得られた合成画像の画素値ヒストグラムを用いて，合成画像を生成する。

（３）上記（２）で得られた合成画像を入力として，同画像に対する方向性フィルタバンクの順変換を行い，変換係数を算出する。各サブバンド毎に変換係数のヒストグラムを生成する。

（４）目標テクスチャ画像を入力として，同画像に対する方向性フィルタバンクの順変換を行い，変換係数を算出する。各サブバンド毎に変換係数のヒストグラムを生成する。上記（３）および（４）で得られるヒストグラムをサブバンドヒストグラムと呼ぶ。

（５）上記（３）および（４）で生成した両画像のサブバンドヒストグラムを入力として，合成画像の各サブバンドのヒストグラムを目標テクスチャ画像の同一帯域のサブバンドのヒストグラムに近づける。

（６）上記（５）で修正した合成画像のサブバンド係数を入力として，方向性フィルタバンクの逆変換を行い，合成画像を出力する。

（７）以上の処理を一定回数，繰り返す。

テクスチャ合成においてサブバンド係数を得る手法としては，例えばｗａｖｅｌｅｔのような上記以外のフィルタバンクの適用も検討されている。本発明におけるテクスチャ特量の予測機構は，上記の方向性フィルタバンクに限らず，それ以外のフィルタバンクに対しても同様に適用することができる。

本発明における符号化対象ブロックの符号化処理は，以下からなる。
［Ｅ１］下位階層の復号信号の生成
［Ｅ２］当該階層のテクスチャの予測特徴量の生成
［Ｅ３］当該階層のテクスチャの予測残差特徴量の生成
一方，本発明における復号対象ブロックの復号処理は，以下からなる。
［Ｄ１］下位階層の復号信号の生成
［Ｄ２］当該階層のテクスチャの予測特徴量の生成
［Ｄ３］当該階層のテクスチャの生成
以下，順にこれらの処理を説明する。

なお，以下では，第ｊ階層の時刻ｔのフレーム内の座標（ｘ，ｙ）における画素値を，ｆ_j （ｘ，ｙ，ｔ）とし，ｆ_j （ｘ，ｙ，ｔ）に対する復号信号を，ｇ_j （ｘ，ｙ，ｔ）とする。ｆ_j+1 （ｘ，ｙ，ｔ）は，ｆ_j （ｘ，ｙ，ｔ）の２倍の空間解像度となる。例えば，ｆ₀ （ｘ，ｙ，ｔ）がＱＣＩＦサイズであれば，ｆ₁ （ｘ，ｙ，ｔ）はＣＩＦサイズとなる。

［Ｅ１：下位階層の復号信号の生成］
本発明では，下位階層から順に符号化処理が行われるスケーラブル符号化を想定している。つまり，第ｊ階層の符号化時には，下位階層にあたる第ｋ階層（ｋ＜ｊ）の符号化情報はすべて利用できるものとする。そこで，第ｊ階層の符号化に先立ち，第ｊ−１階層の符号化ストリームを復号して，第ｊ−１階層の復号信号を生成する。なお，第ｊ−１階層の当該ブロックがテクスチャ合成により生成されたブロックである場合，同ブロックに対する復号処理は省略する。

［Ｅ２：テクスチャの予測特徴量の生成］
下位階層の復号信号（以下の式では，ｆ_j のｆ上に〜を付して表す）を用いて，当該階層の予測信号を生成する。第ｊ階層の信号から第ｊ＋１階層の信号への補間は，方向毎に各々次のように行う。ここでは，補間フィルタのタップ数をＮとする。式中のα_n ，β_n ，γ_n ，ζ_n は，所定の重み係数である。

水平方向の補間：

垂直方向の補間：

斜め方向の補間：

または，

ここで，Σの上のＮ／２および下の（Ｎ−１）／２を挟むＬ字型と逆Ｌ字型の記号は，それぞれ実数Ｎ／２および（Ｎ−１）／２を越えない最大の整数を表す記号である。

補間により得られた予測信号＾ｆ_j+1 （ｘ，ｙ）〔なお，＾はｆの上に付く記号〕に対して，画素値ヒストグラム，サブバンドヒストグラムを得る。これらのヒストグラムをテクスチャの予測特徴量とする。以下では，各々，予測画素値ヒストグラム，予測サブバンドヒストグラムと呼び，両ヒストグラムを併せて“予測ヒストグラム”と呼ぶ。なお，第ｊ−１階層の当該ブロックがテクスチャ合成により生成されたブロックである場合，上述の補間処理は省略する。この場合は，同階層の画素値ヒストグラムおよびサブバンドヒストグラムに対して，各頻度値を４倍にスケーリングしたヒストグラムを予測ヒストグラムとする。

［Ｅ３：テクスチャの予測残差特徴量の生成］
当該階層の信号ｆ_j+1 （ｘ，ｙ）に対して，画素値ヒストグラム，サブバンドヒストグラムを得る。これらは原信号に対するヒストグラムであることから，以下では，オリジナル画素値ヒストグラム，オリジナルサブバンドヒストグラムと呼び，両ヒストグラムを併せて“オリジナルヒストグラム”と呼ぶ。非特許文献２のテクスチャ合成では，これらのオリジナルヒストグラムを入力として，ヒストグラムマッチングに基づく反復法が適用される。つまり，復号器側でテクスチャ合成を行うためには，オリジナルヒストグラムを付加情報として伝送する必要がある。

そこで，本発明では，オリジナル画素値ヒストグラムと予測画素値ヒストグラムの差分ヒストグラムとして，予測残差画素値ヒストグラムを求める。さらに，サブバンド毎のオリジナルサブバンドヒストグラムと予測サブバンドヒストグラムとの差分ヒストグラムとして，予測残差サブバンドヒストグラムを求める。予測残差画素値ヒストグラムと予測残差サブバンドヒストグラムを併せて“予測残差ヒストグラム”と呼ぶ。

当該階層の原信号と下位階層からの予測信号には相関があるため，オリジナルヒストグラムと予測ヒストグラムの間にも同様に相関がある。このため，予測残差ヒストグラムは，オリジナルヒストグラムに比べて，情報量の低減が期待される。

なお，予測残差ヒストグラムの頻度値を量子化することで，同ヒストグラムの情報量をさらに削減することは可能である。例えば，量子化ステップ幅をある一定以上の値にとれば，予測残差ヒストグラムの量子化後の頻度値が零値になるため，予測ヒストグラムを用いてテクスチャ合成を行うことになる。この量子化ステップ幅は，各予測残差ヒストグラム毎に設定することが可能である。このため，特定のサブバンドの予測残差サブバンドヒストグラムのみ予測残差ヒストグラムの頻度値を零値とすることも可能である。この場合，当該サブバンドの予測ヒストグラムをそのままテクスチャ合成に用いることになる。

［Ｄ１：下位階層の復号信号の生成］
本発明では，下位階層から順に符号化処理が行われるスケーラブル符号化を想定している。このため，第ｊ階層の符号化ストリームが復号器へ入力となる際には，下位階層にあたる第ｋ階層（ｋ＜ｊ）の符号化ストリームはすべて利用できる状態にあるものとする。そこで，第ｊ階層の復号に先立ち，第ｊ−１階層の符号化ストリームを復号して，第ｊ−１階層の復号信号を生成する。なお，第ｊ−１階層の当該ブロックがテクスチャ合成により生成されたブロックである場合，同ブロックに対する復号処理は省略する。

［Ｄ２：テクスチャの予測特徴量の生成］
符号化時の［Ｅ２］に同じ。

［Ｄ３：当該階層のテクスチャの生成］
上記［Ｅ３］において生成した予測残差ヒストグラムの量子化データを入力として，逆量子化処理を行い，予測残差ヒストグラムを復号し，さらに，［Ｄ２］で出力した予測ヒストグラムを入力として，予測残差ヒストグラムおよび予測ヒストグラムの対応する頻度値を加算して，オリジナルヒストグラム（あるいはその近似ヒストグラム）を生成する。ここで生成したヒストグラムを入力として，非特許文献２のテクスチャ合成処理を行い，テクスチャを生成する。ここで，生成したテクスチャを当該階層の復号信号とする。

本発明により解像度の異なるフレーム間の予測を行う際，予測符号化では符号量の低減が実現できない高周波成分を多く含む画像信号に対して，主観画質は保持しつつ，符号量を削減する符号化を実現できる。

［本実施形態の概要］
図１は，本発明の実施形態の概要を示す図である。

符号化対象ブロックが存在する当該階層の信号１０を目標テクスチャとする。まず，当該階層の信号１０から画素値ヒストグラム１２を生成する。また，当該階層の信号１０に対して方向性フィルタバンクによるサブバンド分割を行い，各サブバンドごとにサブバンドヒストグラム１３を生成する。これらの画素値ヒストグラム１２およびサブバンドヒストグラム１３がオリジナルヒストグラムとする。

また，下位階層の復号信号２０をアップサンプリングしてアップサンプル画像２１を生成し，このアップサンプル画像２１の画素値ヒストグラム２２を生成する。また，アップサンプル画像２１に対して方向性フィルタバンクによるサブバンド分割を行い，各サブバンドごとにサブバンドヒストグラム２３を生成する。これらの画素値ヒストグラム２２およびサブバンドヒストグラム２３が予測ヒストグラムであり，これをテクスチャの予測特徴量とする。

画素値ヒストグラム１２と画素値ヒストグラム２２との差分を計算し，差分ヒストグラムを生成し，量子化部３０によって差分ヒストグラムの値を量子化する。また，各サブバンドごとに，サブバンドヒストグラム１３とサブバンドヒストグラム２３との差分を計算し，差分ヒストグラムを生成する。この差分ヒストグラムについても，各サブバンドごとに量子化部３１により量子化する。量子化部３０および量子化部３１の出力を，当該階層の信号１０の符号化情報として出力する。

量子化部３０および量子化部３１で用いる量子化パラメータは，差分ヒストグラムの種類に応じて外部から与えるようにしてもよい。外部から与える量子化パラメータを，画素値ヒストグラムの差分であるか，サブバンドヒストグラムの差分であるかによって変えてもよいし，また，サブバンドヒストグラムの各差分ヒストグラムを量子化する場合に，各サブバンドごとに異なる量子化パラメータを用いてもよい。

復号側では，図１に示す処理と逆の処理を行い，テクスチャの特徴量からテクスチャを合成して当該階層の復号信号とする。まず，復号対象の符号化情報を逆量子化して，画素値および各サブバンドの差分ヒストグラムを求める。これに対し，既に復号済みの下位階層の復号信号をアップサンプリングした信号から得られた画素値ヒストグラムおよび各サブバンドヒストグラムを，それぞれヒストグラムごとに加算し，当該階層のテクスチャの特徴量としてのヒストグラムとする。このヒストグラムを入力とするテクスチャ合成処理を実行し，生成したテクスチャを当該階層の復号信号とする。

［フローチャート（符号化処理）］
本発明の符号化処理の実施形態について図面（図２）を参照して説明する。

ステップＳ１００：符号化対象となっている当該階層の信号を入力として，画素値ヒストグラムを生成し，得られた画素値ヒストグラムをレジスタに書き出す。

ステップＳ１０１：符号化対象となっている当該階層の信号を入力として，サブバンド分割処理を行い，得られた変換係数をレジスタに書き出す。本処理の詳細については，非特許文献２に譲る。

ステップＳ１０２：ステップＳ１０１で得た変換係数を入力として，サブバンド毎に変換係数のサブバンドヒストグラムを生成する処理を行い，得られたサブバンドヒストグラムをレジスタに書き出す。

ステップＳ１０３：直下階層の符号化ストリームを入力として，現階層の符号化対象ブロックと対応するフレーム内の位置にある直下階層のブロックがテクスチャ合成によって符号化されているか否かの判定を行う。もし，テクスチャ合成によって符号化されているのであれば，ステップＳ１０９の処理に移り，そうでなければ，ステップＳ１０４の処理に移る。

ステップＳ１０４：直下階層の符号化ストリームを入力として，復号処理を行い，復号信号をフレームバッファに書き出す。

ステップＳ１０５：ステップＳ１０４で得た復号信号を入力として，アップサンプル処理を行い，アップサンプル後の信号をフレームバッファに書き出す。

ステップＳ１０６：ステップＳ１０５で得たアップサンプリング信号を入力として，画素値ヒストグラムを算出し，得られた画素値ヒストグラムをレジスタに書き出す。

ステップＳ１０７：ステップＳ１０５で得たアップサンプリング信号を入力として，サブバンド分割処理を行い，得られた変換係数をレジスタに書き出す。本処理の詳細については，非特許文献２に譲る。

ステップＳ１０８：ステップＳ１０７で得た変換係数を入力として，サブバンド毎に変換係数のサブバンドヒストグラムを生成する処理を行い，得られたサブバンドヒストグラムをレジスタに書き出す。

ステップＳ１０９：直下階層の符号化ストリームを入力として，現階層の符号化対象ブロックと対応するフレーム内の位置にある直下階層のブロックに対して画素値ヒストグラムを読み込む。

ステップＳ１１０：ステップＳ１０９で読み込んだ画素値ヒストグラムを入力として，各頻度値を４倍にスケーリングし，このスケーリング後のヒストグラムをレジスタに書き出す。

ステップＳ１１１：直下階層の符号化ストリームを入力として，現階層の符号化対象ブロックと対応するフレーム内の位置にある直下階層のブロックに対してサブバンド毎の変換係数のヒストグラムを読み込む。

ステップＳ１１２：ステップＳ１１１で読み込んだサブバンドヒストグラムを入力として，各頻度値を４倍にスケーリングし，このスケーリング後のヒストグラムをレジスタに書き出す。

ステップＳ１１３：ステップＳ１００で得た画素値ヒストグラムをオリジナル画素値ヒストグラムとして読み込み，さらに，ステップＳ１０６あるいはステップＳ１１０で得た画素値ヒストグラムのいずれか一方を予測画素値ヒストグラムとして読み込み，オリジナル画素値ヒストグラムおよび予測画素値ヒストグラムの対応する頻度値の差分値を算出する処理を行い，同差分値を頻度値とするヒストグラムを予測残差画素値ヒストグラムとして，レジスタに書き出す。

ステップＳ１１４：ステップＳ１１３で得た予測残差画素値ヒストグラムを入力として，ヒストグラムの頻度値に対する量子化処理を行い，その量子化結果をレジスタに書き出す。

ステップＳ１１５：ステップＳ１０２で得たサブバンドヒストグラムをオリジナルサブバンドヒストグラムとして読み込み，さらに，ステップＳ１０８あるいはステップＳ１１２で得たサブバンドヒストグラムのいずれか一方を予測サブバンドヒストグラムとして読み込み，オリジナルサブバンドヒストグラムおよび予測サブバンドヒストグラムの対応する頻度値の差分値を算出する処理を行い，同差分値を頻度値とするヒストグラムを予測残差サブバンドヒストグラムとして，レジスタに書き出す。

ステップＳ１１６：ステップＳ１１５で得た予測残差サブバンドヒストグラムを入力として，ヒストグラムの頻度値に対する量子化処理を行い，量子化結果をレジスタに書き出す。

これらの量子化結果は可変長符号化され，当該階層の符号化情報として出力され，最終的に複数の空間解像度の信号の符号化ストリームが単一の符号化ストリームに統合されて出力される。なお，下位階層の復号信号に基づき，符号化対象ブロックのテクスチャの特徴量としてのヒストグラムを予測し，差分ヒストグラムを算出して符号化する部分以外の符号化処理については，一般に行われている階層間予測符号化の処理と同様でよいので，その他の符号化処理部分についての詳しい説明は省略する。

［フローチャート（復号処理）］
本発明の復号処理の実施形態について図面（図３）を参照して説明する。

ステップＳ２０１：予測残差画素値ヒストグラムに対する量子化後の頻度値を入力として，逆量子化処理を行い，復号された予測残差画素値ヒストグラムをレジスタに書き出す。

ステップＳ２０２：予測残差サブバンドヒストグラムに対する量子化後の頻度値を入力として，逆量子化処理を行い，各サブバンド毎に復号された予測残差サブバンドヒストグラムをレジスタに書き出す。

ステップＳ２０３からＳ２１２：各々，図２で説明したステップＳ１０３からＳ１１２と同様な処理を行う。

ステップＳ２１３：ステップＳ２０６あるいはステップＳ２１０で得たヒストグラムを予測画素値ヒストグラムとして読み込み，さらに，ステップＳ２０１で得たヒストグラムを予測残差画素値ヒストグラムとして読み込み，入力された両ヒストグラムの対応する頻度値の加算値を算出する処理を行い，同加算値を頻度値とするヒストグラムをレジスタに書き出す。

ステップＳ２１４：ステップＳ２０８あるいはステップＳ２１２で得たヒストグラムを予測サブバンドヒストグラムとして読み込み，さらに，ステップＳ２０２で得たヒストグラムを予測残差サブバンドヒストグラムとして読み込み，入力された両ヒストグラムの対応する頻度値の加算値を算出する処理を行い，同加算値を頻度値とするサブバンドヒストグラムをレジスタに書き出す。

ステップＳ２１５：ステップＳ２１３，ステップＳ２１４で得たヒストグラムを入力として，テクスチャ合成処理を行い，得られた画像を復号信号としてフレームバッファに書き出す。本処理の詳細については，非特許文献２に譲る。

［符号化装置］
図４に，本発明の実施形態に係る符号化装置のブロック図を示す。

ヒストグラム生成処理部１０１：当該階層の信号を入力として，画素値ヒストグラムを生成する処理を行い，得られたヒストグラムをヒストグラム記憶部１０２に書き出す。

サブバンド分割処理部１０３：当該階層の信号を入力として，サブバンド分割処理を行い，得られた変換係数をサブバンド信号記憶部１０４に書き出す。本処理の詳細については，非特許文献２に譲る。

ヒストグラム生成処理部１０５：サブバンド信号記憶部１０４から読み出した変換係数を入力として，サブバンド毎に変換係数のヒストグラムを生成する処理を行い，得られたヒストグラムをヒストグラム記憶部１０６に書き出す。

符号化ストリーム解析処理部１０７：直下階層の符号化ストリームを入力として，現階層の符号化対象ブロックと対応するフレーム内の位置にある直下階層のブロックがテクスチャ合成によって符号化されているか否かの判定を行い，もし，テクスチャ合成によって符号化されているのであれば，ヒストグラムスケーリング処理部１１８およびヒストグラムスケーリング処理部１１９の処理に移り，そうでなければ，下位階層符号化ストリーム復号処理部１０８の処理に移る。

下位階層符号化ストリーム復号処理部１０８：直下階層の符号化ストリームを入力として，復号処理を行い，復号信号を下位階層復号信号記憶部１０９に書き出す。

アップサンプリング処理部１１０：下位階層復号信号記憶部１０９から読み出した復号信号を入力として，アップサンプル処理を行い，アップサンプル後の信号をアップサンプリング信号記憶部１１１に書き出す。

ヒストグラム生成処理部１１２：アップサンプリング信号記憶部１１１から読み出したアップサンプリング信号を入力として，画素値ヒストグラムを生成する処理を行い，得られた画素値ヒストグラムをヒストグラム記憶部１１３に書き出す。

サブバンド分割処理部１１４：アップサンプリング信号記憶部１１１から読み出したアップサンプリング信号を入力として，サブバンド分割処理を行い，得られた変換係数をサブバンド信号記憶部１１５に書き出す。本処理の詳細については，非特許文献２に譲る。

ヒストグラム生成処理部１１６：サブバンド信号記憶部１１５から読み出した変換係数を入力として，サブバンド毎に変換係数のヒストグラムを生成する処理を行い，得られたヒストグラムをヒストグラム記憶部１１７に書き出す。

ヒストグラムスケーリング処理部１１８：直下階層の符号化ストリームを入力として，現階層の符号化対象ブロックと対応するフレーム内の位置にある直下階層のブロックに対して画素値ヒストグラムを読み込み，同ヒストグラムの各頻度値を４倍にスケーリングし，このスケーリング後のヒストグラムをヒストグラム記憶部１１３に書き出す。

ヒストグラムスケーリング処理部１１９：直下階層の符号化ストリームを入力として，現階層の符号化対象ブロックと対応するフレーム内の位置にある直下階層のブロックに対してサブバンドヒストグラムを読み込み，同ヒストグラムの各頻度値を４倍にスケーリングし，このスケーリング後のヒストグラムをヒストグラム記憶部１１７に書き出す。

予測残差ヒストグラム生成処理部１２０：ヒストグラム記憶部１０２およびヒストグラム記憶部１１３で得たヒストグラムを入力として，両ヒストグラムの対応する頻度値の差分値を算出する処理を行い，同差分値を頻度値とするヒストグラムを予測残差ヒストグラムとして，予測残差ヒストグラム記憶部１２１に書き出す。

ヒストグラム量子化処理部１２２：予測残差ヒストグラム記憶部１２１から読み出した予測残差ヒストグラムを入力として，ヒストグラムの頻度値に対する量子化処理を行い，量子化結果をヒストグラム量子化値記憶部１２３に書き出す。

予測残差ヒストグラム生成処理部１２４：ヒストグラム記憶部１０６およびヒストグラム記憶部１１７で得たヒストグラムを入力として，両ヒストグラムの対応する頻度値の差分値を算出する処理を行い，同差分値を頻度値とするヒストグラムを予測残差ヒストグラムとして，予測残差ヒストグラム記憶部１２５に書き出す。

ヒストグラム量子化処理部１２６：予測残差ヒストグラム記憶部１２５から読み出した予測残差ヒストグラムを入力として，ヒストグラムの頻度値に対する量子化処理を行い，量子化結果をヒストグラム量子化値記憶部１２７に書き出す。

符号化部１２８：ヒストグラム量子化値記憶部１２７に格納された量子化結果を可変長符号化し，当該階層の符号化情報として出力する。

以上の符号化処理により最終的に複数の空間解像度の信号の符号化ストリームが単一の符号化ストリームに統合されて出力される。図４に示した符号化処理部分以外の装置構成は，周知の階層間予測符号化装置の構成と同様であるので，その他の符号化処理部分についての詳しい説明は省略する。

［復号装置］
図５に，本発明の実施形態に係る復号装置のブロック図を示す。

符号化ストリーム解析処理部２００：当該階層の符号化ストリームを入力として，予測残差画素値ヒストグラムおよび予測残差サブバンドヒストグラムの量子化結果を読み出し，各々，予測残差画素値ヒストグラム量子化値記憶部２０１および予測残差サブバンドヒストグラム量子化値記憶部２０２に書き出す。

ヒストグラム逆量子化処理部２０３：予測残差画素値ヒストグラム量子化値記憶部２０１から読み込んだ量子化されたヒストグラムを入力として，頻度値に対する逆量子化処理を行い，復号されたヒストグラムを予測残差ヒストグラムとして，予測残差ヒストグラム記憶部２０４に書き出す。

ヒストグラム逆量子化処理部２０５：予測残差サブバンドヒストグラム量子化値記憶部２０２から読み込んだ量子化されたヒストグラムを入力として，頻度値に対する逆量子化処理を行い，復号されたヒストグラムを予測残差ヒストグラムとして，予測残差ヒストグラム記憶部２０６に書き出す。

符号化ストリーム解析処理部２０７からヒストグラムスケーリング処理部２１９：各々，図４で説明した符号化ストリーム解析処理部１０７からヒストグラムスケーリング処理部１１９までの処理と同様な処理を行う。

ヒストグラム加算処理部２２０：予測残差ヒストグラム記憶部２０４およびヒストグラム記憶部２１３で得たヒストグラムを入力として，両ヒストグラムの対応する頻度値の加算値を算出する処理を行い，同加算値を頻度値とするヒストグラムを，ヒストグラム記憶部２２１に書き出す。

ヒストグラム加算処理部２２４：予測残差ヒストグラム記憶部２０６およびヒストグラム記憶部２１７で得たヒストグラムを入力として，両ヒストグラムの対応する頻度値の加算値を算出する処理を行い，同加算値を頻度値とするヒストグラムを，ヒストグラム記憶部２２５に書き出す。

テクスチャ合成処理部２２６：ヒストグラム記憶部２２５から読み出したヒストグラムを入力として，テクスチャ合成処理を行い，得られた画像を復号画像として復号信号記憶部２２７に書き出す。本処理の詳細については，非特許文献２に譲る。

以上の符号化および復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明の実施形態の概要を示す図である。 本発明の実施形態に係る符号化処理の流れを示す図である。 本発明の実施形態に係る復号処理の流れを示す図である。 本発明の実施形態に係る符号化装置のブロック図である。 本発明の実施形態に係る復号装置のブロック図である。

符号の説明

１０１，１１６ ヒストグラム生成処理部
１０２，１０６，１１３，１１７ ヒストグラム記憶部
１０３，１１４ サブバンド分割処理部
１０４，１１５ サブバンド信号記憶部
１０５，１１２ ヒストグラム生成処理部
１０７ 符号化ストリーム解析処理部
１０８ 下位階層符号化ストリーム復号処理部
１０９ 下位階層復号信号記憶部
１１０ アップサンプリング処理部
１１１ アップサンプリング信号記憶部
１１８，１１９ ヒストグラムスケーリング処理部
１２０，１２４ 予測残差ヒストグラム生成処理部
１２１，１２５ 予測残差ヒストグラム記憶部
１２２，１２６ ヒストグラム量子化処理部
１２３，１２７ ヒストグラム量子化値記憶部
１２８ 符号化部

Claims (12)

1. 空間解像度の低い下位階層から順に符号化し，複数の空間解像度の信号の符号化ストリームを単一の符号化ストリームに統合して出力するスケーラブル画像符号化方法において，
   下位階層の復号信号に基づき，符号化対象となっている当該階層における符号化対象領域のテクスチャの特徴量としてのヒストグラムを予測し，予測ヒストグラムを生成するステップと，
   前記予測ヒストグラムと当該階層における符号化対象領域のテクスチャの特徴量としてのヒストグラムとの差分情報である差分ヒストグラムを算出するステップと，
   前記差分ヒストグラムの値またはそれを量子化した量子化値を符号化し，当該階層における符号化対象領域の符号化情報とするステップとを有する
   ことを特徴とするスケーラブル画像符号化方法。
2. 請求項１記載のスケーラブル画像符号化方法において，
   前記予測ヒストグラムを生成するステップでは，
   階層間予測を用いる場合において，参照位置に当たる下位階層の領域がテクスチャ合成による符号化が行われたものである場合に，該領域に対するテクスチャのヒストグラムの頻度値をスケーリングしたものを当該階層のテクスチャの予測ヒストグラムとする
   ことを特徴とするスケーラブル画像符号化方法。
3. 請求項１または請求項２記載のスケーラブル画像符号化方法において，
   前記符号化するステップでは，
   前記差分ヒストグラムの種類に応じて外部より与えられた量子化パラメータを入力として，差分ヒストグラムの頻度値を量子化し，差分ヒストグラムの情報量を削減する
   ことを特徴とするスケーラブル画像符号化方法。
4. 複数の空間解像度の信号の符号化情報を統合した符号化ストリームを復号するスケーラブル画像復号方法において，
   下位階層の復号信号をアップサンプリングした信号に基づき，当該階層における復号対象領域のテクスチャの特徴量としての予測ヒストグラムを生成するステップと，
   符号化ストリームに含まれる差分ヒストグラムと前記予測ヒストグラムとの加算処理により得られたヒストグラムを，当該階層における復号対象領域のテクスチャの特徴量としてのヒストグラムとするステップと，
   前記当該階層における復号対象領域のテクスチャの特徴量としてのヒストグラムを入力としてテクスチャ合成処理を行うことにより，テクスチャを生成し，当該階層における復号対象領域の復号信号とするステップとを有する
   ことを特徴とするスケーラブル画像復号方法。
5. 請求項４記載のスケーラブル画像復号方法において，
   前記予測ヒストグラムを生成するステップでは，
   階層間予測を用いる場合において，参照位置に当たる下位階層の領域がテクスチャ合成による符号化が行われたものである場合に，該領域に対するテクスチャのヒストグラムの頻度値をスケーリングしたものを当該階層のテクスチャの予測ヒストグラムとする
   ことを特徴とするスケーラブル画像復号方法。
6. 請求項４または請求項５記載のスケーラブル画像復号方法において，
   差分ヒストグラムの種類に応じて外部より与えられた量子化パラメータを入力として，符号化ストリームに含まれる量子化された差分ヒストグラムの頻度値を逆量子化し，差分ヒストグラムを復元するステップを有する
   ことを特徴とするスケーラブル画像復号方法。
7. 空間解像度の低い下位階層から順に符号化し，複数の空間解像度の信号の符号化ストリームを単一の符号化ストリームに統合して出力するスケーラブル画像符号化装置において，
   下位階層の復号信号に基づき，符号化対象となっている当該階層における符号化対象領域のテクスチャの特徴量としてのヒストグラムを予測し，予測ヒストグラムを生成する手段と，
   前記予測ヒストグラムと当該階層における符号化対象領域のテクスチャの特徴量としてのヒストグラムとの差分情報である差分ヒストグラムを算出する手段と，
   前記差分ヒストグラムの値またはそれを量子化した量子化値を符号化し，当該階層における符号化対象領域の符号化情報とする手段とを備える
   ことを特徴とするスケーラブル画像符号化装置。
8. 複数の空間解像度の信号の符号化情報を統合した符号化ストリームを復号するスケーラブル画像復号装置において，
   下位階層の復号信号をアップサンプリングした信号に基づき，当該階層における復号対象領域のテクスチャの特徴量としての予測ヒストグラムを生成する手段と，
   符号化ストリームに含まれる差分ヒストグラムと前記予測ヒストグラムとの加算処理により得られたヒストグラムを，当該階層における復号対象領域のテクスチャの特徴量としてのヒストグラムとする手段と，
   前記当該階層における復号対象領域のテクスチャの特徴量としてのヒストグラムを入力としてテクスチャ合成処理を行うことにより，テクスチャを生成し，当該階層における復号対象領域の復号信号とする手段とを備える
   ことを特徴とするスケーラブル画像復号装置。
9. 請求項１，請求項２または請求項３記載のスケーラブル画像符号化方法を，コンピュータに実行させるためのスケーラブル画像符号化プログラム。
10. 請求項４，請求項５または請求項６記載のスケーラブル画像復号方法を，コンピュータに実行させるためのスケーラブル画像復号プログラム。
11. 請求項１，請求項２または請求項３記載のスケーラブル画像符号化方法を，コンピュータに実行させるためのスケーラブル画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
12. 請求項４，請求項５または請求項６記載のスケーラブル画像復号方法を，コンピュータに実行させるためのスケーラブル画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images