JP5351093B2 - 画像符号化方法，画像符号化装置および画像符号化プログラム - Google Patents

Description

本発明は，高能率画像信号符号化方法に関する。

Ｈ．２６４／ＡＶＣに代表される現行の符号化方式においては，フレーム内予測，フレーム間予測および階層間予測によって予測信号を生成し，予測信号と原信号の残差信号を符号化対象としている。このような従来技術は，原信号波形の正確な再現を目的としている。しかし，こうした従来手法では，波形再現の枠組みのもと，量子化により符号量を制御していたため，低レートでは，ブロック歪み，リンギングといった画質劣化が顕在化する。

また，その予測処理は復号信号を参照するため，低レートでは，劣化した復号信号を参照することになり，ある一定以上の高周波成分を予測することは不可能となる。このため，高周波成分を多く含む画像に対しては，予測性能は低下する。例えば，こうした低レートにおける画質劣化は，フレーム間予測の場合，剛体移動モデルの成立しない水面等のシーンにおいて顕著であり，フレーム内予測・階層間予測の場合，精細な絵柄のテクスチャ領域において顕著となる。

これに対し，テクスチャ合成と呼ばれる手法が検討されている。付与されたデータ（シードと呼ぶ）を用いて，予め定められた生成規則に基づき，画像を合成する技術である。テクスチャ合成では，原信号の正確な波形再現を追求するのではなく，原信号内のテクスチャの特徴量を再現対象とする点が，従来の一般的な符号化方式と異なる。

テクスチャ合成の方法としては，例えば，非特許文献１に記載されている方法がある。この方法では，テクスチャ合成処理の入力として，方向性フィルタバンクの出力として得られた係数のヒストグラムをテクスチャの特徴量として用いる。

D.Heeger, and J. Bergen,"Pyramid-Based Texture Analysis/Synthesis", Proc ACM SIGGRAPH 95, 1995．

一般に，テクスチャ合成で使用するシードのデータ量は，原信号のデータ量に比べて，極めて少なく抑えることが可能である。このため，テクスチャ合成の画像符号化への適用が期待される。

一方，テクスチャ合成によって生成された信号は，波形再現という観点からは原信号との類似度は保証されない。これは，画像中の位相情報を保持する保証がないためである。このため，原画像との比較を前提として，主観的に原信号に近い画質の信号を得ることが求められる場合には，単純に画像符号化にテクスチャ合成の手法を適用しても，その要求に応えることができない。

本発明はかかる事情に鑑みてなされたものであって，低レートの符号化方式として，従来の波形再現ベースの符号化方式に変わる手法として，テクスチャ合成技術に基づき主観的に原信号に近い画質の信号を生成する処理を確立することを目的とする。

テクスチャ合成のみでの波形再現は，その処理の構造上，限界があった。これは，テクスチャ合成では，画像内の位相情報が保持されないためである。本発明では，従来の波形再現ベースの符号化方式とテクスチャ合成とを組み合わせ，両者の苦手とした部分を互いの長所で補い合うアプローチを取る。そのために，画像信号を波形の概形を表す成分（構造成分）とそれ以外の成分（テクスチャ成分）に分割し，構造成分に対して波形再現ベースの符号化を適用し，テクスチャ成分に対してテクスチャ分析・テクスチャ合成による符号化を適用する。

すなわち，本発明は，主観画質を保持しつつ符号量の削減を図るため，符号化対象の画像信号を構造成分とテクスチャ成分とに分割し，構造成分については，波形符号化に基づく符号化処理を行い，テクスチャ成分に対して，テクスチャ合成に基づく符号化処理を行う。画像信号を構造成分とテクスチャ成分とに分割する際には，例えば画像信号の上位ビットを構造情報とし，下位ビットをテクスチャ情報とする。下位ビットの劣化が視覚的に検知しにくい情報の場合，大きな符号量削減効果が期待できる。

詳しくは本発明の画像符号化装置は，まず，原信号のビット深度変換により，少ないビット深度で表現された信号に対して波形符号化に基づく符号化処理を行い，符号化データを生成する。その符号化データを復号し，さらに，逆ビット深度変換により原信号と同じビット深度の信号を復元する。その復元信号と原信号との差分信号を算出し，差分信号に対してビット深度の制限を行い，ビット深度の制限された差分信号に対してテクスチャ分析を行うことにより，その信号を画素値のヒストグラム，変換フィルタ係数のヒストグラム群により表現して，テクスチャ分析による符号化データを生成する。以上の波形符号化処理による符号化データとテクスチャ分析による符号化データとを符号化ストリームとして統合して出力する。特に，テクスチャ分析では，差分信号に対するビット深度の制限量に応じて，制限量が大きいときにテクスチャ分析で得られるヒストグラムのビン数が小さくなるように表現精度を制御する。

または，本発明の画像符号化装置は，入力画像の上位ビットと下位ビットを分離し，上位ビットに対しては，ビットシフトにより，原信号よりも少ないビット深度の信号として表現し，波形符号化に基づく符号化処理を行い，符号化データを生成する。また，下位ビット信号に対してビット深度の制限を行い，ビット深度の制限された信号に対してテクスチャ分析を行うことにより，その信号を画素値のヒストグラム，変換フィルタ係数のヒストグラム群により表現して，テクスチャ分析による符号化データを生成する。以上の波形符号化処理による符号化データとテクスチャ分析による符号化データとを符号化ストリームとして統合して出力する。特に，テクスチャ分析では，下位ビット信号に対するビット深度の制限量に応じて，制限量が大きいときにテクスチャ分析で得られるヒストグラムのビン数が小さくなるように表現精度を制御する。

上記画像符号化において，変換フィルタ係数を生成する変換処理における全分解レベルの全方向成分に対する近似誤差和が付与の閾値以下に抑えられるように前記変換フィルタ係数のヒストグラムのビン数を設定することも好適である。また，前記変換フィルタ係数としてsteerablepyramid 変換のフィルタ係数を用いることができる。

本発明により，主観画質は保持しつつ，符号量を削減する符号化を実現することができる。

本発明の実施形態の一部に関連する画像符号化装置の構成例を示す図である。 Steerable pyramid の分析フィルタの構成例を示す図である。 画像符号化装置の構成例を示す図である。 画像符号化装置の他の構成例を示す図である。 画像符号化装置の他の構成例を示す図である。 画像復号装置の構成例を示す図である。 Steerable pyramid の合成フィルタの構成例を示す図である。 画像復号装置の他の構成例を示す図である。 符号化処理のフローチャートである。 テクスチャ分析処理のフローチャートである。 復号処理のフローチャートである。 テクスチャ合成処理のフローチャートである。

以下，本実施形態で行う処理の概要について説明する。

図１は，本発明の実施形態の一部に関連する画像符号化装置の構成例を示す。符号化処理の流れを図１を用いて説明する。まず，画像符号化装置１は，符号化対象の画像信号（Ｎビット信号) を入力する。ビット深度変換部１０は，この画像信号（Ｎビット信号) を入力として，ビット深度変換処理により，Ｎ−Δビット信号へ変換する。ここで，Δは１≦Δ≦Ｎを満たす整数である。ビット深度変換処理としては，各画素値を右へΔビットシフトする方法が挙げられる。なお，この演算結果は，もとの画素値を１／（２のΔ乗）倍して小数点以下を切り捨てた値と一致する。また，二乗誤差最小化の規範に基づき，量子化の考え方を利用して，Ｎビット信号における２^N 種類の画素値を「２の（Ｎ−Δ）乗」種類の画素値で近似する方法もある。

ビット深度変換処理の出力として得られたＮ−Δビット信号が，本手法における構造成分である。そこで，構造成分であるＮ−Δビット信号に対して，波形符号化処理部１１は波形符号化処理を行い，符号化ストリームを出力する。波形符号化処理としては，Ｈ．２６４／ＡＶＣ準拠の符号化方式を用いる。なお，本発明は，波形符号化処理をＨ．２６４／ＡＶＣに限定するものではなく，例えば，ＪＰＥＧ，ＪＰＥＧ２０００，ＭＰＥＧ−２といった方法を用いることも可能である。

次に，復号処理部１２は，波形符号化処理の出力として得られた符号化ストリームに対して，Ｈ．２６４／ＡＶＣが規定する復号処理を行い，復号信号を得る。符号化方式としてＨ．２６４／ＡＶＣ以外の方法（ＪＰＥＧ，ＪＰＥＧ２０００，ＭＰＥＧ−２等）を用いた場合には，対応する復号処理を行う。

逆ビット深度変換部１３は，復号処理の出力として得られた復号信号（Ｎ−Δビット信号）に対して，逆ビット深度変換処理を行い，Ｎビット信号としての構造成分の復号信号を得る。

差分信号生成部１４は，原信号と構造成分の復号信号（Ｎビット信号）との差分信号を算出する。この差分信号が，本手法におけるテクスチャ成分となる。テクスチャ分析処理部１５は，テクスチャ成分に対して，テクスチャ分析処理を行い，復号時のテクスチャ合成において必要となる情報として，以下の２種類のヒストグラムを抽出する。一つが，差分信号のヒストグラムである。もう一つが，差分信号に対するSteerable pyramid 変換〔参考文献１参照〕により得られる変換係数に対するヒストグラムである。
〔参考文献１〕：E. P. Simoncelli and W. T. Freeman, “The Steerable Pyramid: A Flexible Architecture for Multi-Scale Derivative Computation ”，IEEE Int'l Conf. on Image Processing. Washington DC, October 1995 ．
Steerable pyramid 変換は，方向性フィルタバンクの一種であり，方向数と分解レベルにより出力が規定される。原信号を２^J ×２^J 画素として，方向数Ｍと分解レベルＪ_max のSteerable pyramid 変換を行う場合，第ｊ分解レベル（０≦ｊ≦Ｊ_max −１）においては，Ｍ種類の方向成分を有し，各方向成分が２^J-J ×２^J-j 個の変換係数を有する。なお，最上位の分解レベルｊ＝Ｊ_max においては，方向成分に関する分割はなく，２^J-Jmax×２^J-Jmax個の変換係数を有する。また，上記とは別に，高周波成分として，２^J ×２^J 個の変換係数を有する。

また，変換係数は実数値で表現されているため，分解レベル毎の各方向成分を予め与えられた量子化幅Ｋで量子化し，量子化後の変換係数に対するヒストグラムをテクスチャ分析情報とする。

例として，図２に，Ｍ＝２, Ｊ_max ＝１とした場合のsteerable pyramid 変換の分析フィルタの構成例を示す。高域通過フィルタ２１および低域通過フィルタ２２の入力は，画像信号（差分信号）である。この分析フィルタは，入力された画像信号に対して，指定されたレベル分解および方向分解を行い，高域成分，低域成分としてのフィルタ係数を算出する。高域通過フィルタ２１から，高域通過フィルタの係数が出力され，第一方向成分通過フィルタ２３１から低域通過フィルタ＋第一方向成分通過フィルタの係数が出力され，第二方向成分通過フィルタ２３２から低域通過フィルタ＋第一方向成分通過フィルタの係数が出力され，低域通過フィルタ２３３とダウンサンプリング部２３４から，低域通過フィルタ＋ダウンサンプリング後の係数が出力される。

分解レベルを増やす場合には，ダウンサンプリング部２３４の出力するダウンサンプリング後の信号に対して，破線で囲んだ部分２３の処理を再帰的に繰り返す。

図３は，本発明の実施形態に係る画像符号化装置の構成例を示す。図３に示す画像符号化装置１−１では，図１に示す画像符号化装置１に対して，差分信号生成部１４とテクスチャ分析処理部１５との間に，ビット深度制限処理部１６が設けられている。他の構成部分は，図１に示す画像符号化装置１と同様である。ビット深度制限処理部１６は，差分信号の下位δビットを抽出し，テクスチャ分析処理の対象をδビット信号に制限する。この場合，δはΔと同一の値とすることもできるが，Δとは独立に設定することも可能である。このδをビット深度制限パラメータと呼ぶ。

ここで，ヒストグラムの表現方法について整理する。ヒストグラムをｈ_B ［ｉ］（ｉ＝０，１，…，Ｂ−１）と表した場合，ｈ_B ［ｉ］は，対象となる信号値がｉとなるサンプルの個数を格納する。このとき，Ｂをヒストグラムのｂｉｎ数と呼び，ｈ_B ［ｉ］を第ｉｂｉｎの頻度値と呼ぶ。

前記のように，テクスチャ合成処理の対象のビット深度を制限することで，前記差分信号は「２のδ乗」種類の画素値に制限される。このとき，対応するヒストグラムに格納されるのは，「２のδ乗」種類の画素値となり，ヒストグラムのｂｉｎ数を２^N+1 から「２のδ乗」に抑えることができる。この結果，ビット制限前に比べて，同ヒストグラムを表現する情報量を低減することが可能となる。

Steerable pyramid 変換の変換係数に対するヒストグラムに対しても，ビット深度制限パラメータδに基づき，ヒストグラムのｂｉｎ数を制限する。具体的には，ビット深度制限パラメータδが小さくなるにつれて，ヒストグラムのｂｉｎ数を小さく設定する。これは，変換前の信号のビット深度に応じて，変換係数に必要なビット深度も変化することを考慮すると，変換係数のヒストグラムのｂｉｎ数を常に一定に保つことは，δが小さな場合，変換係数に対して冗長な表現を与える可能性があるためである。

Steerable pyramid 変換における第ｊ分解レベル（0 ≦ｊ≦Ｊ_max −１）における第ｍ（ｍ＝０，１，…，Ｍ−１）方向成分の変換係数に対するヒストグラムをＬ_x ^(j,m) ［ｉ］（ｉ＝０，…，２^2(J-j)−１）〔ここで，下添字ＸはＢδ（δは下添字）の代わりの表記，以下同様〕とする。なお，前述の通り，最上位の分解レベルｊ＝Ｊ_max においては，方向成分に関する分割はなく，ｍ＝０に対応するヒストグラムに限定される。また，上記とは別に，高周波成分として，２^J ×２^J 個の変換係数を有するため，この高周波成分を格納するヒストグラムを，Ｈ_J ［ｉ］（ｉ＝０，…，２^2J−１）とする。

第ｊ分解レベル（０≦ｊ≦Ｊ_max −１）における第ｍ（ｍ＝０，１，…，Ｍ−１）方向成分の変換係数に対するヒストグラムをＬ_x ^(j,m) ［ｉ］（ｉ＝０，…，２^2(J-j)−１）とすることは，実数値で表現された変換係数をＢδ種類の離散値で近似することになる。この離散化の際，用いる量子化幅をｑ_j,m ，第ｊ分解レベル（０≦ｊ≦Ｊ_max −１）における第ｍ（ｍ＝０，１，…，Ｍ−１）方向成分の変換係数ｃ_j,m ［ｋ］（ｋ＝０，…，２^2(J-j)−１）とすると，この離散化に伴う近似誤差Ｅ_x ^(j,m) は，次式のように表される。

この式中，「Ｌ字型の記号」と「左右反転Ｌ字型の記号」で挟まれる値ｘは，実数ｘに対する少数点以下の切捨てを意味する。また，高周波成分に対する近似誤差を，便宜上，以下のように表す。

なお，ここで用いたｍ＝Ｍは方向成分を同定するためではなく，高周波成分を表すインデックスとして用いている。

全分解レベルの全方向成分に対する近似誤差の和として，次式を定義する。

ｂｉｎ数の増加に対して，近似誤差和Ｅ_total （Ｂδ，δ）は単調減少となる。そこで，ｂｉｎ数の設定の際には，式（１）に対する閾値Ｔを設定し，ｂｉｎ数の候補となる値を複数用意し，同候補に含まれる値の中で次式を満たす最大の値をｂｉｎ数とする。

Ｅ_total （Ｂδ，δ）≦Ｔ
図４は，画像符号化装置の他の構成例を示す。図４に示す画像符号化装置１−２では，図１に示す画像符号化装置１に対して，テクスチャ分析処理部１５の後に，ビット深度制限処理部１７が設けられている。他の構成部分は，図１に示す画像符号化装置１と同様である。ビット深度制限処理部１７は，テクスチャ分析処理部１５の出力をδビット信号に制限する。δビット信号に制限することにより，テクスチャ分析処理による符号化データの符号量をさらに圧縮することができる。

また，図５は，画像符号化装置のさらに他の構成例を示す。図５に示す画像符号化装置１−３では，ビットシフト処理部１０１が，入力したＮビットの画像信号から上位Ｎ−Δビットの画像信号（Δ＞０）を抽出する。波形符号化処理部１０２は，Ｎ−Δビットの画像信号に対して，波形符号化に基づく符号化処理を行い，符号化データを出力する。

一方，下位ビット抽出処理部１０３は，入力したＮビットの画像信号から下位Δビットの画像信号を抽出し，テクスチャ分析処理部１０４は，下位Δビットの画像信号に対するテクスチャ分析により，下位Δビットの画像信号を画素値のヒストグラムおよび変換フィルタ係数のヒストグラム群により表現したテクスチャ分析情報の符号化データを生成する。これらの波形符号化処理による符号化データとテクスチャ分析による符号化データを符号化ストリームとして統合する。

以上のように，ビット深度変換処理として，ビットシフトを用いる場合には，図５に示す形式で，図１，図３，図４の符号化処理が実現できる。図５の構成の利点は，テクスチャ分析処理と波形符号化処理を並列に処理できる点にある。このため，図１，図３，図４に示す符号化処理では，波形符号化処理・復号処理が完了するまで，テクスチャ合成処理が実行できないのに対して，図５の構成では，両者を並列に処理できるため，並列処理可能な環境では，処理速度の向上が期待できる。

復号処理について，図６を用いて説明する。図６は，画像復号装置の構成例を示す。画像復号装置３は，テクスチャ合成処理部３０と，復号処理部３１と，逆ビット深度変換部３２と，復号信号生成部３３とを備える。

復号処理では，２種類の符号化情報を入力とする。まず，波形符号化処理の出力として得られた符号化ストリームに対して，復号処理部３１は，対応する復号処理を行い，復号信号を得る。復号処理の出力として得られた復号信号（Ｎ−Δビット信号）に対して，逆ビット深度変換部３２は，逆ビット深度変換処理を行い，Ｎビット信号としての構造成分の復号信号を得る。

次に，テクスチャ合成処理部３０は，テクスチャ分析情報を入力として，以下のテクスチャ合成の方法に基づき，テクスチャ情報を復号する。符号化処理において，図３，図４に示すようなビット深度制限処理が加わっている場合には，復号されるテクスチャ情報は，δビットに制限されている。

テクスチャ合成の方法は，非特許文献１の方法を使用する。この方法では，テクスチャ合成処理の入力として，Steerable pyramid と呼ぶ方向性フィルタバンクの出力として得られた係数のヒストグラムを用いる。同方法の概要を以下に示す。

同方法の入力は，適当な初期画像（上記非特許文献１では，白色雑音画像），および目標とするテクスチャ画像（以後，目標テクスチャ画像と呼ぶ）に対する各々の画素値ヒストグラム，前記両画像に対する各々の各サブバンドのヒストグラムとする。サブバンド分解には，Steerable pyramid を用いる。テクスチャ合成の出力として得られる画像を合成画像と呼ぶ。なお，以下の処理の開始時点では，合成画像は上記の初期画像で初期化されている。

〔テクスチャ合成の方法〕
（１）処理対象画像の初期画像としての白色雑音画像，および目標テクスチャ画像に対する各々の画素値ヒストグラム，前記両画像に対する各々の各サブバンド毎の変換係数のヒストグラム（サブバンドヒストグラムと呼ぶ）を入力する。

（２）合成画像（最初は初期画像）の画素値ヒストグラム，目標テクスチャ画像の画素値ヒストグラムをもとに，合成画像の画素値ヒストグラムを目標テクスチャ画像のそれに近づける。

（３）上記（２）で得られた合成画像の画素値ヒストグラムを用いて，合成画像を生成する。

（４）上記（３）で得られた合成画像を入力として，同画像に対する方向性フィルタバンクの順変換を行い，変換係数を算出する。各サブバンド毎に変換係数のヒストグラムを生成する。

（５）合成画像および目標テクスチャ画像の両画像のサブバンドヒストグラムを入力として，合成画像の各サブバンドのヒストグラムを目標テクスチャ画像の同一帯域のサブバンドのヒストグラムに近づける。

（６）上記（５）で修正した合成画像のサブバンド係数を入力として，方向性フィルタバンクの逆変換を行い，合成画像を出力する。

（７）上記（２）〜（６）の処理を一定回数，繰り返す。

テクスチャ合成においてサブバンド係数を得る手法としては，例えばwavelet のような上記以外のフィルタバンクの適用も検討されている。本発明におけるテクスチャ特徴量の予測機構は，上記の方向性フィルタバンクに限らず，それ以外のフィルタバンクに対しても同様に適用することができる。

例として，図７に，Ｍ＝２, Ｊ_max ＝１とした場合のsteerable pyramid 変換の合成フィルタの構成例を示す。この合成フィルタは，入力されたフィルタ係数から画像信号を合成する。高域合成フィルタ４２は，図２に示す高域通過フィルタ２１が出力したフィルタ係数を入力し，画像信号を合成する。第一方向成分合成フィルタ４０１は，図２に示す第一方向成分通過フィルタ２３１が出力した低域通過フィルタと第一方向成分通過フィルタの係数を入力する。第二方向成分合成フィルタ４０２は，図２に示す第二方向成分通過フィルタ２３２が出力した低域通過フィルタと第二方向成分通過フィルタの係数を入力する。アップサンプリング部４０３は，図２に示すダウンサンプリング部２３４が出力した低域通過フィルタとダウンサンプリング後の係数を入力してアップサンプリングし，低域成分合成フィルタ４０４はアップサンプリング後の係数から画像信号を合成する。低域合成フィルタ４１は，第一方向成分合成フィルタ４０１，第二方向成分合成フィルタ４０２，低域成分合成フィルタ４０４の出力を合成する。高域合成フィルタ４２および低域合成フィルタ４１の出力から，最終的な差分信号の画像信号が合成される。

分解レベルを増やす場合には，破線で囲んだ部分４０の処理を，再帰的に繰り返す。

図８に示す画像復号装置３−１は，図５に示す画像符号化装置１−３に対応する復号処理を行う復号装置である。図８に示す画像復号装置３−１では，図６の画像復号装置３における逆ビット深度変換部３２として，逆ビットシフト処理部３４が用いられている。逆ビットシフト処理部３４は，復号処理部３１が復号したＮ−Δビット信号を，Δビット分だけ逆ビットシフトすることにより，Ｎビット信号に変換する。復号信号生成部３３は，このＮビット信号と，テクスチャ合成処理部３０の出力であるΔビット信号とを加算し，Ｎビット信号の復号画像を生成する。

以下，本実施形態の具体的な処理の流れについて説明する。

〔フローチャート（符号化処理）〕
図９は，図３に示す画像符号化装置１−１の処理フローチャートである。他の実施形態についても同様に処理できる。

（１）画像信号（Ｎビット信号）を入力とし，同信号に含まれる２^N 種類の画素値を「２の（Ｎ−Δ）乗」種類の画素値に割り当て，Ｎ−Δビットの信号として出力する（ステップＳ１０）。

（２）Ｎ−Δビットの信号を入力として，予め定められた符号化方法に従い，波形符号化処理を行い，その符号化データを出力する。波形符号化処理としては，例えば，Ｈ．２６４／ＡＶＣの標準規格に準拠した符号化方法がある（ステップＳ１１）。

（３）上記（２）で生成された符号化データを復号し，Ｎ−Δビットの信号としての復号信号を得る（ステップＳ１２）。

（４）Ｎ−Δビットの復号信号を入力として，同信号に含まれる「２の（Ｎ−Δ）乗」種類の画素値を２^N 種類の画素値に割り当てる逆ビット深度変換の処理を行い，Ｎビットの復号信号として出力する（ステップＳ１３）。

（５）上記（４）で生成した逆ビット深度変換後の復号信号と原信号との差分を算出し，差分信号として出力する（ステップＳ１４）。

（６）同差分信号を入力として，ビット深度をδビットに制限し，δビット信号として出力する（ステップＳ１５）。

（７）上記（６）で生成したδビット信号を入力として，テクスチャ分析処理を行い，画素値のヒストグラム，方向性フィルタバンクの各バンド毎のフィルタ係数のヒストグラムを出力する（ステップＳ１６）。このステップＳ１６の処理を「テクスチャ分析処理」と呼ぶ。

〔フローチャート（テクスチャ分析処理）〕
図１０は，テクスチャ分析処理（ステップＳ１６）の詳細な処理フローチャートである。

（１）入力信号を読み込み，入力信号の画素値のヒストグラムを出力する（ステップＳ１６１）。

（２） Steerable pyramid変換を規定するパラメータ方向数Ｍ，分解レベルＪ_max を読み込む（ステップＳ１６２）。

（３）入力信号に対して，方向数Ｍ，分解レベルＪ_max で定まるSteerable pyramid 変換を行い，変換係数を出力する（ステップＳ１６３）。

（４）高周波成分に属する２^J ×２^J 個の変換係数に対してヒストグラムを求め，Ｈ_J ［ｉ］（ｉ＝０，…，２^2J−１）として出力する（ステップＳ１６４）。

（５）ｊ＝０，１，…，Ｊ_max −１に対して，以下の処理を繰り返す（ステップＳ１６５〜Ｓ１７０）。

（６）ｍ＝０，１，…，Ｍ−１に対して，以下の処理を繰り返す（ステップＳ１６６〜Ｓ１６８）。

（７）第ｊ分解レベルにおける第ｍ方向成分に属する２^2(J-j)個の変換係数に対するヒストグラムを求め，Ｌ_x ^(j,m) ［ｉ］（ｉ＝０，…，２^2(J-j)−１）として出力する（ステップＳ１６６）。

（８）最上位の分解レベルｊ＝Ｊ_max に属する「２の２（Ｊ−Ｊ_max ）乗」個の変換係数に対するヒストグラムを求め，Ｌ_x ^Y ［ｉ］（ｉ＝０，…，２の２（Ｊ−Ｊ_max ）乗−１）として出力する。なお，ここでＹは（Ｊ_max ，０）である。最上位の分解レベルでは，方向成分に関する分割はなく，ｍ＝０に対応するヒストグラムに限定される（ステップＳ１７１）。

〔フローチャート（復号処理）〕
図１１は，図６に示す画像復号装置３の処理フローチャートである。他の実施形態についても同様に処理できる。

（１）波形符号化処理の出力として得られた符号化データを入力として，波形符号化処理に対応する復号処理を行い，復号信号を出力する（ステップＳ２０）。

（２）復号処理の出力として得られた復号信号（Ｎ−Δビット信号）を入力として，逆ビット深度変換処理を行い，Ｎビット信号としての構造成分の復号信号を得る（ステップＳ２１）。

（３）テクスチャ分析情報を入力として，テクスチャ合成処理を行い，復号されたテクスチャ信号を出力する（ステップＳ２２）。この処理の詳細については，図１２を用いて後述する。

（４）Ｎビット信号としての構造成分の復号信号，復号されたテクスチャ信号を入力として，二つの信号を加算し，加算後の信号を復号信号として出力する（ステップＳ２３）。

〔フローチャート（テクスチャ合成処理）〕
図１２は，テクスチャ合成処理（ステップＳ２２）の詳細な処理フローチャートである。

テクスチャ合成処理では，Steerable pyramid 変換の変換係数のヒストグラムを入力として，サブバンド分解には，Steerable pyramid を用いる。テクスチャ合成の出力として得られる画像を合成画像と呼ぶ。なお，以下の処理の開始時点では，合成画像は上記の初期画像で初期化されている。

（１）入力として，処理対象画像の初期画像としての白色雑音画像，および目標とするテクスチャ画像（以後，目標テクスチャ画像と呼ぶ）に対する各々の画素値ヒストグラム，前記両画像に対する各々の各サブバンドのヒストグラムを読み込む。このヒストグラムをサブバンドヒストグラムと呼ぶ（ステップＳ２２１）。

（２）合成画像の画素値ヒストグラム，目標テクスチャ画像の画素値ヒストグラムを入力として，合成画像の画素値ヒストグラムを目標テクスチャ画像のそれに近づける処理を行い，処理後の合成画像の画素値ヒストグラムを出力する（ステップＳ２２２）。

（３）上記（２）で得られた合成画像の画素値ヒストグラムを用いて，処理対象画像の画素値を修正し，合成画像を生成する（ステップＳ２２３）。

（４）上記（３）で得られた合成画像を入力として，同画像に対する方向性フィルタバンクの順変換を行い，変換係数を算出する（ステップＳ２２４）。

（５）各サブバンドの変換係数を入力として，同変換係数のヒストグラムを出力する（ステップＳ２２５）。

（６）合成画像と目標テクスチャ画像の両画像のサブバンドヒストグラムを入力として，合成画像の各サブバンドのヒストグラムを目標テクスチャ画像の同一帯域のサブバンドのヒストグラムに近づける処理を行い，処理後のヒストグラムを出力する（ステップＳ２２６）。

（７）上記（６）で得られたサブバンドのヒストグラムを用いて，変換係数の値を修正し，修正後の値を生成する（ステップＳ２２７）。

（８）上記（７）で修正した合成画像のサブバンド係数を入力として，方向性フィルタバンクの逆変換を行い，合成画像を出力する（ステップＳ２２８）。

（９）以上の処理を一定回数，繰り返す（ステップＳ２２２〜Ｓ２２９）。

以上説明した画像符号化および画像復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

１ 画像符号化装置
１０ ビット深度変換部
１１ 波形符号化処理部
１２ 復号処理部
１３ 逆ビット深度変換部
１４ 差分信号生成部
１５ テクスチャ分析処理部
１６，１７ ビット深度制限処理部
３ 画像復号装置
３０ テクスチャ合成処理部
３１ 復号処理部
３２ 逆ビット深度変換部
３３ 復号信号生成部
３４ 逆ビットシフト処理部

Claims (9)

1. Ｎビットの画像信号を入力し，Ｎ−Δビット信号（Δ＞０）にビット深度変換する過程と，
   ビット深度変換後のＮ−Δビット信号の画像信号に対して，波形符号化に基づく符号化処理を行い，符号化データを生成する波形符号化処理過程と，
   前記符号化データを復号する過程と，
   前記復号されたＮ−Δビット信号の復号信号を逆ビット深度変換し，Ｎビットの復号信号を生成する過程と，
   入力した前記Ｎビットの画像信号と，前記逆ビット深度変換後のＮビットの復号信号との差分信号を算出する過程と，
   前記差分信号に対して，設定されたビット深度制限パラメータに基づきビット深度の制限を行うビット深度制限処理過程と，
   前記ビット深度制限処理過程により制限された差分信号に対するテクスチャ分析により，前記制限された差分信号を画素値のヒストグラムおよび変換フィルタ係数のヒストグラム群により表現したテクスチャ分析情報の符号化データを生成するテクスチャ分析処理過程と，
   符号化ストリームとして，前記波形符号化処理過程による符号化データと前記テクスチャ分析処理過程による符号化データを符号化ストリームに統合する過程とを有し，
   前記テクスチャ分析処理過程では，前記差分信号に対するビット深度の制限量に応じて，制限量が大きいときに前記テクスチャ分析で得られるヒストグラムのビン数が小さくなるように表現精度を制御する
   ことを特徴とする画像符号化方法。
2. 入力したＮビットの画像信号からビットシフトにより上位Ｎ−Δビットの画像信号（Δ＞０）を抽出する過程と，
   抽出したＮ−Δビットの画像信号に対して，波形符号化に基づく符号化処理を行い，符号化データを生成する波形符号化処理過程と，
   前記Ｎビットの画像信号から下位Δビットの画像信号を抽出する過程と，
   前記下位Δビットの画像信号に対して，設定されたビット深度制限パラメータに基づきビット深度の制限を行うビット深度制限処理過程と，
   前記ビット深度制限処理過程により制限された画像信号に対するテクスチャ分析により，前記制限された画像信号を画素値のヒストグラムおよび変換フィルタ係数のヒストグラム群により表現したテクスチャ分析情報の符号化データを生成するテクスチャ分析処理過程と，
   符号化ストリームとして，前記波形符号化処理過程による符号化データと前記テクスチャ分析処理過程による符号化データを符号化ストリームに統合する過程とを有し，
   前記テクスチャ分析処理過程では，前記画像信号に対するビット深度の制限量に応じて，制限量が大きいときに前記テクスチャ分析で得られるヒストグラムのビン数が小さくなるように表現精度を制御する
   ことを特徴とする画像符号化方法。
3. 請求項１または請求項２記載の画像符号化方法において，
   前記テクスチャ分析処理過程では，変換フィルタ係数を生成する変換処理における全分解レベルの全方向成分に対する近似誤差和が付与の閾値以下に抑えられるように前記変換フィルタ係数のヒストグラムのビン数を設定する
   ことを特徴とする画像符号化方法。
4. 請求項１または請求項２記載の画像符号化方法において，
   前記変換フィルタ係数は，steerablepyramid 変換のフィルタ係数であり，
   前記テクスチャ分析処理過程では，前記steerablepyramid 変換における全分解レベルの全方向成分に対する近似誤差和が付与の閾値以下に抑えられるように前記変換フィルタ係数のヒストグラムのビン数を設定する
   ことを特徴とする画像符号化方法。
5. Ｎビットの画像信号を入力し，Ｎ−Δビット信号（Δ＞０）に変換するビット深度変換部と，
   ビット深度変換後のＮ−Δビット信号の画像信号に対して，波形符号化に基づく符号化処理を行い，符号化データを生成する波形符号化処理部と，
   前記符号化データを復号する復号処理部と，
   前記復号処理部の出力であるＮ−Δビット信号の復号信号を逆ビット深度変換し，Ｎビットの復号信号を生成する逆ビット深度変換部と，
   入力した前記Ｎビットの画像信号と，前記逆ビット深度変換後のＮビットの復号信号との差分信号を算出する差分信号生成部と，
   前記差分信号に対して，設定されたビット深度制限パラメータに基づきビット深度の制限を行うビット深度制限処理部と，
   前記ビット深度制限処理部により制限された差分信号に対するテクスチャ分析により，前記制限された差分信号を画素値のヒストグラムおよび変換フィルタ係数のヒストグラム群により表現したテクスチャ分析情報の符号化データを生成するテクスチャ分析処理部とを備え，
   前記テクスチャ分析処理部は，前記差分信号に対するビット深度の制限量に応じて，制限量が大きいときに前記テクスチャ分析で得られるヒストグラムのビン数が小さくなるように表現精度を制御し，
   符号化ストリームとして，波形符号化処理による符号化データとテクスチャ分析による符号化データを符号化ストリームに統合する
   ことを特徴とする画像符号化装置。
6. 入力したＮビットの画像信号から上位Ｎ−Δビットの画像信号（Δ＞０）を抽出するビットシフト処理部と，
   前記Ｎ−Δビットの画像信号に対して，波形符号化に基づく符号化処理を行い，符号化データを生成する波形符号化処理部と，
   前記Ｎビットの画像信号から下位Δビットの画像信号を抽出する下位ビット抽出処理部と，
   前記下位Δビットの画像信号に対して，設定されたビット深度制限パラメータに基づきビット深度の制限を行うビット深度制限処理部と，
   前記ビット深度制限処理部により制限された画像信号に対するテクスチャ分析により，前記制限された画像信号を画素値のヒストグラムおよび変換フィルタ係数のヒストグラム群により表現したテクスチャ分析情報の符号化データを生成するテクスチャ分析処理部とを備え，
   前記テクスチャ分析処理部は，前記画像信号に対するビット深度の制限量に応じて，制限量が大きいときに前記テクスチャ分析で得られるヒストグラムのビン数が小さくなるように表現精度を制御し，
   符号化ストリームとして，波形符号化処理による符号化データとテクスチャ分析による符号化データを符号化ストリームに統合する
   ことを特徴とする画像符号化装置。
7. 請求項５または請求項６記載の画像符号化装置において，
   前記テクスチャ分析処理部は，変換フィルタ係数を生成する変換処理における全分解レベルの全方向成分に対する近似誤差和が付与の閾値以下に抑えられるように前記変換フィルタ係数のヒストグラムのビン数を設定する
   ことを特徴とする画像符号化装置。
8. 請求項５または請求項６記載の画像符号化装置において，
   前記変換フィルタ係数は，steerablepyramid 変換のフィルタ係数であり，
   前記テクスチャ分析処理部は，前記steerablepyramid 変換における全分解レベルの全方向成分に対する近似誤差和が付与の閾値以下に抑えられるように前記変換フィルタ係数のヒストグラムのビン数を設定する
   ことを特徴とする画像符号化装置。
9. 請求項１から請求項４までのいずれか１項に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。

Images