JP5155929B2 - 符号化画像補正装置及びそのプログラム - Google Patents

Description

本発明は、符号化された画像である符号化画像における空間周波数成分の高周波数領域を低減する符号化画像補正装置及びそのプログラムに関する。

従来から、肉眼が高周波数成分に対する感度が低いといった視覚特性を利用して、符号化画像の符号化効率を向上させる符号化画像フィルタが提案されている（特許文献１〜３参照）。例えば、特許文献１に記載の発明は、画像を符号化小ブロックに分割して、ＤＣＴ（Discrete Cosine Transform）等の直交変換及びその直交変換係数を量子化した後、この画像を解析してフィルタ特性を変更するものである。これによって、特許文献１に記載の発明は、隣接する符号化小ブロック間でフィルタ特性が極端に異なることを防止して、画質劣化を抑えている。

また、特許文献２に記載の発明は、動き補償が行われない領域に対して、空間方向に強いローパスフィルタを適用するものである。さらに、特許文献３に記載の発明は、画面を複数のブロックに分割し、適宜フィルタ強度を設定してそのフィルタ強度でフィルタリングを行うものである。これら特許文献１〜３に記載の発明は、符号化小ブロックを用いてＤＣＴ等の直交変換を行う符号化方法では、画質の劣化を効果的に低減する。

特開平９−２９８７５３号公報 特開平８−１８９７７号公報 特開２００６−１８０４７０号公報

しかし、特許文献１〜３に記載の発明は、ｄｉｒａｃ等のウェーブレット分解を用いる符号化方式では、画質の劣化を低減できないという問題がある。ここで、ＭＰＥＧ(Moving Picture Experts Group)−２、ＭＰＥＧ−４ＡＶＣ（Advanced Video Coding）等の符号化方式では、直交変換歪等の符号化歪が、空間方向のブロック領域に存在する。一方、ウェーブレット分解を用いる符号化方式では、ウェーブレット分解された空間周波数成分に応じた空間周波数劣化が画面全体にわたって存在する。このため、特許文献１〜３に記載の発明では、この空間周波数劣化を効果的に防止できない。

そこで、本発明は、ウェーブレット分解を用いる符号化方式において、画質の劣化を低減しつつ符号化効率を向上させる符号化画像補正装置及びそのプログラムを提供することを目的とする。

前記した課題を解決するため、本願第一発明に係る符号化画像補正装置は、符号化された画像である符号化画像における高周波数領域の空間周波数成分を低減する符号化画像補正装置であって、ウェーブレット分解手段と、記憶手段と、符号化画像補正手段と、ウェーブレット再構成手段と、を備えることを特徴とする。

かかる構成によれば、符号化画像補正装置は、ウェーブレット分解手段によって、符号化画像が入力されると共に、符号化画像を二次元多階離散ウェーブレット分解し、多階に分解した周波数領域毎に符号化画像の空間周波数成分を算出する。また、符号化画像補正装置は、記憶手段によって、正弦波コントラストの振幅の最小値Ｌ _ｍｉｍ と最大値Ｌ _ｍａｘ とが含まれる式（１）のマイケルソンコントラストＭＣで定義され、二次元多階離散ウェーブレット分解に対応した周波数領域毎のコントラスト感度値について正規化して予め設定した補正係数を記憶する。ここで、本発明では、例えば、所定のコントラスト感度特性（例えば、図２）から空間周波数（ＣＰＤ）に対するコントラスト感度値の基本値を求める。そして、本発明では、補正係数は、例えば、コントラスト感度値の基本値から、周波数領域毎のコントラスト感度値を求め、このコントラスト感度値を０〜１の範囲内で正規化して予め設定しておく。
また、符号化画像補正装置は、記憶手段によって、水平方向と垂直方向との両方向に高周波数領域を有する解像度異方性領域の空間周波数成分について、低周波数領域の左上頂点を基準とした解像度異方性領域の左上頂点の角度に応じて予め設定された解像度異方性係数を記憶する。

また、符号化画像補正装置は、符号化画像補正手段によって、ウェーブレット分解手段が算出した周波数領域毎の空間周波数成分に、周波数領域に応じた補正係数を乗算して補正する。つまり、符号化画像補正装置は、符号化画像補正手段によって、この補正係数を高周波数領域の空間周波数成分に乗算し、解像度異方性領域の空間周波数成分について、解像度異方性係数をさらに乗算して高周波数領域の空間周波数成分を低減する。ここで、肉眼の斜め方向の感度は、水平方向及び垂直方向の感度の約半分となる。そこで、符号化画像補正装置は、符号化画像補正手段によって、この視覚特性を利用して、低周波数領域に対して斜め方向に位置する解像度異方性領域の空間周波数成分をより低減する。
そして、符号化画像補正装置は、ウェーブレット再構成手段によって、符号化画像補正手段が補正した空間周波数成分を二次元多階離散ウェーブレット再構成し、補正後符号化画像を出力する。つまり、符号化画像補正装置は、ウェーブレット再構成手段によって、補正された空間周波数成分をウェーブレット再構成し、高周波数領域の空間周波数成分を低減した補正後符号化画像を出力する。

また、前記した課題を解決するため、本願第二発明に係る符号化画像補正プログラムは、符号化された画像である符号化画像における高周波数領域の空間周波数成分を低減するために、正弦波コントラストの振幅の最小値Ｌ _ｍｉｍ と最大値Ｌ _ｍａｘ とが含まれる式（１）のマイケルソンコントラストＭＣで定義され、二次元多階離散ウェーブレット分解に対応した周波数領域毎のコントラスト感度値について正規化して予め設定した補正係数を記憶すると共に、水平方向と垂直方向との両方向に高周波数領域を有する解像度異方性領域の空間周波数成分について、低周波数領域の左上頂点を基準とした解像度異方性領域の左上頂点の角度に応じて予め設定された解像度異方性係数を記憶する記憶手段を備えるコンピュータを、ウェーブレット分解手段、符号化画像補正手段、ウェーブレット再構成手段、として機能させる。

かかる構成によれば、符号化画像補正プログラムは、ウェーブレット分解手段によって、符号化画像が入力されると共に、符号化画像を二次元多階離散ウェーブレット分解し、多階に分解した周波数領域毎に符号化画像の空間周波数成分を算出する。そして、符号化画像補正プログラムは、符号化画像補正手段によって、ウェーブレット分解手段が算出した周波数領域毎の空間周波数成分に、周波数領域に応じた補正係数を乗算し、前記解像度異方性領域の空間周波数成分について、解像度異方性係数をさらに乗算して補正する。つまり、符号化画像補正プログラムは、符号化画像補正手段によって、この補正係数を高周波数領域の空間周波数成分に乗算して、高周波数領域の空間周波数成分を低減する。さらに、符号化画像補正プログラムは、ウェーブレット再構成手段によって、符号化画像補正手段が補正した空間周波数成分を二次元多階離散ウェーブレット再構成し、補正後符号化画像を出力する。つまり、符号化画像補正プログラムは、ウェーブレット再構成手段によって、補正された空間周波数成分をウェーブレット再構成し、高周波数領域の空間周波数成分を低減した補正後符号化画像を出力する。

本発明によれば、以下のような優れた効果を奏する。
本願第一，二発明によれば、ウェーブレット分解を用いる符号化方式において、肉眼のコントラスト感度特性が帯域通過特性を持ち、輝度が低いと低域通過特性になるという視覚特性を利用して、高周波数領域の空間周波数成分を低減した補正後符号化画像を出力するため、画質の劣化を低減しつつ符号化効率を向上させることができる。
本願第一，二発明によれば、肉眼の斜め方向の感度が低くなるという視覚特性を利用して、解像度異方性領域の空間周波数成分をより低減するため、符号化効率をより向上させることができる。

本発明の実施形態に係る符号化画像補正装置の構成を示すブロック図である。 本発明における、空間周波数成分とコントラスト感度値との関係を示すグラフである。 本発明における、コントラスト感度値を説明する図である。 本発明における、空間周波数成分をＣＰＤで扱う利点を説明する図であり、（ａ）はハイビジョン画像の例を示し、（ｂ）はスーパーハイビジョン画像の例を示す。 図１のウェーブレット分解手段による二次元二階離散ウェーブレット分解を説明する図であり、（ａ）は符号化画像を示し、（ｂ）は空間周波数成分を示す。 本発明における、角度と解像度異方性係数との関係を示すグラフである。 図１のウェーブレット分解手段による二次元三階離散ウェーブレット分解を説明する図であり、（ａ）は符号化画像を示し、（ｂ）は空間周波数成分を示す。 図１の符号化画像補正装置の動作を示すフローチャートである。

［符号化画像補正装置の構成］
本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
以下、図１を参照して、本発明の実施形態に係る符号化画像補正装置１の構成について、説明する。符号化画像補正装置１は、符号化された画像である符号化画像における高周波数領域の空間周波数成分を低減するものである。図１に示すように、符号化画像補正装置１は、ガンマ値設定手段１１と、ウェーブレット階数設定手段１２と、補正係数記憶手段（記憶手段）１３と、逆ガンマ補正手段１４と、ウェーブレット分解手段１５と、符号化画像補正手段１６と、ウェーブレット再構成手段１７と、ガンマ補正手段１８とを備える。

ガンマ値設定手段１１は、ガンマ補正前のガンマ値と、ガンマ補正後のガンマ値とが予め設定されると共に、これらガンマ値を後記する逆ガンマ補正手段１４及びガンマ補正手段１８に出力するものである。ここで、ガンマ値設定手段１１は、オペレータ等により、これらガンマ値が手動で設定される。そして、ガンマ値設定手段１１は、これらガンマ値を示すガンマ値設定信号を逆ガンマ補正手段１４及びガンマ補正手段１８に出力する。

ウェーブレット階数設定手段１２は、ウェーブレット分解及びウェーブレット再構成の階数が予め設定されると共に、この階数を後記するウェーブレット分解手段１５及びウェーブレット再構成手段１７に出力するものである。ここで、ウェーブレット階数設定手段１２は、オペレータ等により、この階数が手動で設定される。そして、ウェーブレット階数設定手段１２は、この階数を示す階数設定信号をウェーブレット分解手段１５及びウェーブレット再構成手段１７に出力する。

補正係数記憶手段１３は、予め設定された補正係数を記憶するメモリ、ハードディスク等の記憶手段である。この補正係数は、周波数領域毎のコントラスト感度値について高周波数領域の空間周波数成分が低周波数領域の空間周波数成分より小さな値となるように正規化して予め設定したものである。なお、補正係数記憶手段１３が、請求項に記載の記憶手段に相当する。

＜補正係数の詳細＞
以下、図２〜図４を参照して、補正係数について、詳細に説明する（適宜図１参照）。ここで、図２では、空間周波数成分に対するコントラスト感度値を網膜照度（td：トロランド）で示した。この１（td）は、輝度１（cd／m^２）の面を、１（mm^２）の面積の瞳を通して見る場合の照度に相当する。つまり、図２では、９００（td）の曲線が約３００（cd／m^２）に相当し、テレビ放送の最高輝度付近となる。ここで、コントラスト感度特性は、明るさによっても異なるが、９０（td）〜９００（td）ではあまり差は無い。また、９００（td）では暗所の雑音成分が目立つため、ここでは、９００（td）の曲線ではなく、９０（td）の曲線を基準値とする。

また、図２のコントラスト感度値は、マイケルソンコントラストで定義される。このマイケルソンコントラストは、図３に示すように、正弦波コントラストの振幅に対する輝度であり、下記式（１）で表される。

ＭＣ＝（Ｌ_ｍａｘ−Ｌ_ｍｉｍ）／（Ｌ_ｍａｘ＋Ｌ_ｍｉｍ）・・・式（１）

なお、式（１）では、ＭＣはマイケルソンコントラストを示し、Ｌ_ｍａｘが正弦波コントラストの振幅の最大値を示し、Ｌ_ｍｉｍが正弦波コントラストの振幅の最小値を示す。

ここで、図３上段のコントラストが高い画像では、正弦波コントラストの輝度の振幅Ａが大きくなるので、式（１）より、マイケルソンコントラストが０に近い小さな値となる。また、図３下段のコントラストが低い画像では、正弦波コントラストの輝度の振幅が小さくなるので、式（１）より、マイケルソンコントラストが１に近い大きな値となる。そして、図３中段の画像では、マイケルソンコントラストが、これらの中間値となる。

また、コントラスト感度値は、１／コントラスト閾値で表される。従って、図２に示すように、コントラスト感度値は、空間周波数成分が２２付近の場合、空間周波数成分が１１付近の場合に比べて、約３倍感度が低いことになる。言い換えると、明暗比が３倍あっても、肉眼では両者の差を検知できないことを意味する。なお、コントラスト閾値とは、肉眼で刺激を検出できる最低のコントラストである。

また、図２の空間周波数成分は、視角１(deg.)あたりの空間周波数成分を示すＣＰＤ(Cycle Per Degree）で示している。以下、図４を参照し、空間周波数成分をＣＰＤで扱う利点について、説明する。

図４（ａ）に示すように、水平１９２０(pixels)×垂直１０８０(line)のハイビジョン（High Definition Television）解像度で標準観視距離が３(H)の場合、水平１９２０(pixels)に対して視角が約３３(deg.)になる。ここで、白と黒の対が最も高い周波数の１本の波となるので、水平１９２０(pixels)内で、「白黒白黒・・・」を表すと９６０本描けることになる。従って、水平１９２０(pixels)で表示可能な水平方向の最高周波数は９６０（CPD）となる。このため、空間周波数成分は、水平方向では、水平１９２０(pixels)／視角３３(deg.)／２の計算を行い、最大で約２９(CPD)となる。なお、Ｈは画面高を示す。

また、垂直１０８０(line)に対して、視角は、約２０(deg.)になる。このため、空間周波数成分は、垂直方向では、垂直１０８０(line)／視角２０(deg.)／２の計算を行い、最大で約２７(CPD)となる。このことから、水平１９２０(pixels)に対して視角が約３０（deg.）で、水平方向の空間周波数成分を約３０（CPD）と扱い、垂直１０８０（line）に対して視角が約２０(deg.)で、垂直方向の空間周波数成分を約３０（CPD）として扱うことができる。

図４（ｂ）に示すように、水平７６８０(pixels)×垂直４３２０(line)のスーパーハイビジョン（Ultra High Definition Television）解像度で標準観視距離が０．７５(H）の場合、水平７６８０(pixels)に対して視角が約１００(deg.)なる。このため、空間周波数成分は、水平方向では、水平７６８０(pixels)／視角１００(deg.)／２の計算を行い、最大で約３８(CPD)となる。

垂直４３２０（line）に対して、視角は、約６５(deg.)となる。このため、空間周波数成分は、垂直方向では、垂直４３２０(line)／視角６５(deg.)／２の計算を行い、最大で約３３(CPD)となる。このときも、ハイビジョン解像度と同様に、水平７６８０(pixels)に対して視角が約１００（deg.）で、水平方向の空間周波数成分を約３０（CPD）と扱い、垂直４３２０（line）に対して視角が約６５(deg.)で、垂直方向の空間周波数成分を約３０（CPD）として扱うことができる。以上のように、空間周波数成分をＣＰＤで扱うと、符号化画像の解像度に関わらず、水平方向又は垂直方向の空間周波数成分の最大値を等しく扱えるため、補正処理において都合が良い。

以下、図２のコントラスト感度値より求めた補正係数の具体例を示す。なお、補正係数は、０以上１以下の値となるように、高周波数領域のコントラスト感度値を低周波数領域のコントラスト感度値で除算して、高周波数領域のコントラスト感度値を正規化したものである。言い換えると、補正係数は、殆どの周波数領域で、高周波数領域側が低周波数領域側より小さな値となる。

図２に示すように、９０（td）の曲線では、空間周波数成分が２２付近（基準空間周波数成分）で、コントラスト感度値が約０．８である。また、９０（td）の曲線では、空間周波数成分が１１付近（基準空間周波数成分）で、コントラスト感度値が約２．５である。さらに、また、９０（td）の曲線では、空間周波数成分が４付近（基準空間周波数成分）で、コントラスト感度値が約３である。以上より、二次元二階離散ウェーブレット分解に対応させて、表１に示すように、周波数領域毎に補正係数を算出したものである。

また、表２は、表１と同様に、二次元三階離散ウェーブレット分解に対応させて、周波数領域毎に補正係数を算出したものである。

表１及び表２では、空間周波数成分の周波数領域と、この周波数領域内でコントラスト感度値の基準となる基準空間周波数成分と、基準空間周波数成分でのコントラスト感度値と、この周波数領域に対応する補正係数とを示す。このとき、符号化画像補正装置１は、表１、表２等の補正係数を補正係数記憶手段１３に予め記憶（設定）しておく。なお、補正係数は、表１及び表２に限定されないことは言うまでも無い。

以下、図１に戻り、符号化画像補正装置１の構成について、説明を続ける。
逆ガンマ補正手段１４は、符号化画像が入力されると共に、この符号化画像を逆ガンマ補正するものである。この符号化画像は、例えば、任意の符号化方式で符号化された動画像を構成するフレーム画像である。通常、動画像は、撮影時にガンマ補正が行われているので、逆ガンマ補正手段１４は、この影響をなくすために逆ガンマ補正を行う。例えば、逆ガンマ補正手段１４は、符号化画像がＲＧＢ信号又は輝度信号の場合、その明度について、下記式（２）を用いて、逆ガンマ補正を行う。

Ｌ１＝Ｌ０^{（ｇ０／ｇ１）}・・・式（２）

ここで、式（２）では、Ｌ０がガンマ補正前の明度（但し、０≦Ｌ０≦１）を示し、Ｌ１がガンマ補正後の明度（但し、０≦Ｌ１≦１）を示し、ｇ０はガンマ補正前のガンマ値を示し、ｇ１はガンマ補正後のガンマ値を示す。テレビ撮影系では、例えば、ｇ０が１であり、ｇ１が２．２となる。なお、式（２）のｇ０，ｇ１は、ガンマ値設定手段１１からのガンマ値設定信号に含まれている。

ウェーブレット分解手段１５は、逆ガンマ補正手段１４から符号化画像が入力されると共に、符号化画像を二次元多階離散ウェーブレット分解し、多階に分解した周波数領域毎に符号化画像の空間周波数成分を算出するものである。ここで、ウェーブレット分解手段１５は、ウェーブレット階数設定手段１２が出力した階数設定信号が示す階数で、二次元離散ウェーブレット分解を行う。そして、ウェーブレット分解手段１５は、符号化画像の空間周波数成分を符号化画像補正手段１６に出力する。なお、ウェーブレット分解の詳細は、後記する

符号化画像補正手段１６は、ウェーブレット分解手段１５が算出した周波数領域毎の空間周波数成分に、周波数領域に応じた補正係数を乗算して補正するものである。このとき、符号化画像補正手段１６は、後記する解像度異方性領域の空間周波数成分について、補正係数と、解像度異方性領域の位置に応じた解像度異方性係数とを乗算して補正することが好ましい。そして、符号化画像補正手段１６は、補正した空間周波数成分を、ウェーブレット再構成手段１７に出力する。

＜ウェーブレット分解及び補正の第一例：二次元二階離散ウェーブレット分解＞
以下、図５を参照し、ウェーブレット分解及び補正の第一例を説明する（適宜図１参照）。この第一例は、二次元二階離散ウェーブレット分解を行う例である。なお、図５では、水平方向と垂直方向との両方向に高周波数領域を有する解像度異方性領域を網掛けで図示した。また、図５では、低周波数領域側を「低」と図示し、高周波数領域側を「高」と図示した。

まず、ウェーブレット分解手段１５は、図５（ａ）の符号化画像に対して一階目の二次元離散ウェーブレット分解を行う。具体的には、ウェーブレット分解手段１５は、図５（ｂ）に示すように、符号化画像から、Ｂ１，Ｂ２，Ｂ４，Ｂ５で構成された一つの低周波数領域の空間周波数成分と、三つの高周波数領域Ｂ３，Ｂ６，Ｂ７の空間周波数成分とを算出する。ここで、例えば、この低周波数領域は、水平方向及び垂直方向の空間周波数成分が０(CPD)以上１５(CPD)未満である。また、例えば、高周波数領域Ｂ３は、水平方向の空間周波数成分が１５(CPD)以上３０(CPD)未満である。また、例えば、高周波数領域Ｂ６は、垂直方向の空間周波数成分が１５(CPD)以上３０(CPD)未満である。さらに、例えば、高周波数領域Ｂ７は、水平方向及び垂直方向の空間周波数成分が１５(CPD)以上３０(CPD)未満である。

そして、ウェーブレット分解手段１５は、一階目の二次元離散ウェーブレット分解で求めた低周波数領域（Ｂ１〜Ｂ４で構成された領域）の空間周波数成分に対し、二階目の二次元離散ウェーブレット分解を行う。具体的には、ウェーブレット分解手段１５は、図５（ｂ）に示すように、Ｂ１，Ｂ２，Ｂ４，Ｂ５で構成された一つの低周波数領域の空間周波数成分から、低周波数領域Ｂ１の空間周波数成分と、三つの高周波数領域Ｂ２，Ｂ４，Ｂ５の空間周波数成分とを算出する。ここで、例えば、この低周波数領域Ｂ１は、水平方向及び垂直方向の空間周波数成分が０(CPD)以上７．５(CPD)未満である。また、例えば、高周波数領域Ｂ２は、水平方向の空間周波数成分が７．５(CPD)以上１５(CPD)未満である。また、例えば、高周波数領域Ｂ４は、垂直方向の空間周波数成分が７．５(CPD)以上１５(CPD)未満である。さらに、例えば、高周波数領域Ｂ５は、水平方向及び垂直方向の空間周波数成分が７．５(CPD)以上１５(CPD)未満である。

つまり、ウェーブレット分解手段１５は、低周波数領域の空間周波数成分から、さらに、低周波数領域の空間周波数成分と高周波数領域の空間周波数成分とを算出する処理を、階数設定信号が示す階数分（ここでは、２回）、繰り返すことになる。これによって、ウェーブレット分解手段１５は、図５に示すように、符号化画像から、一つの低周波数領域Ｂ１の空間周波数成分と、六つの高周波数領域Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，Ｂ７の空間周波数成分とを算出する。

次に、符号化画像補正手段１６は、補正係数記憶手段１３から、二次元二階離散ウェーブレット分解に対応した補正係数として、表１を読み出す。そして、符号化画像補正手段１６は、高周波数領域Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，Ｂ７の空間周波数成分に、これらに応じた補正係数を乗算する。具体的には、符号化画像補正手段１６は、例えば、水平方向又は垂直方向の少なくとも一方が７．５(CPD)以上１５(CPD)未満である高周波数領域Ｂ２，Ｂ４，Ｂ５については、これら領域の空間周波数成分に補正係数０．８３を乗算する。また、例えば、符号化画像補正手段１６は、水平方向又は垂直方向の少なくとも一方が１５(CPD)以上３０(CPD)未満である高周波数領域Ｂ３，Ｂ６，Ｂ７については、これら領域の空間周波数成分に補正係数０．２７を乗算する。

ここで、図６に示すように、肉眼の斜め方向の感度（解像度異方性係数）は、水平方向及び垂直方向の感度の約半分となる。なお、解像度異方性係数とは、水平方向及び垂直方向の肉眼の感度を１とした場合、解像度異方性係数の角度（位置）に応じた肉眼の感度を示す係数である。また、角度とは、低周波数領域内の左上頂点を基準として、高周波数領域の左上頂点の角度（位置）を示す。なお、図６では、角度０(deg.)が水平方向を示し、角度９０(deg.)が垂直方向を示す。また、図６では、解像度異方性係数は、０以上１以下の値となる。

ここで、低周波数領域Ｂ１に対して斜めに４５（deg．）に位置する解像度異方性領域Ｂ５，Ｂ７は、肉眼の感度が低くなるため、空間周波数成分をより多く低減できる。図６より、解像度異方性領域Ｂ５，Ｂ７の解像度異方性係数が０．５と求められるため、符号化画像補正手段１６は、解像度異方性領域Ｂ５については、その空間周波数成分に補正係数０．８３と解像度異方性係数０．５とを乗算する。また、同様に、符号化画像補正手段１６は、解像度異方性領域Ｂ７については、その空間周波数成分に補正係数０．２７と解像度異方性係数０．５とを乗算する。ここで、例えば、符号化画像補正装置１は、解像度異方性係数を補正係数記憶手段１３に予め記憶（設定）しておく。

＜ウェーブレット分解及び補正の第二例：二次元三階離散ウェーブレット分解＞
以下、図７を参照し、ウェーブレット分解及び補正の第一例を説明する（適宜図１参照）。この第二例は、二次元三階離散ウェーブレット分解を行う例である。なお、図７では、水平方向と垂直方向との両方向に高周波数領域を有する解像度異方性領域を網掛けで図示した。また、図７では、低周波数領域側を「低」と図示し、高周波数領域側を「高」と図示した。

ウェーブレット分解手段１５は、図５と同様の手順で、一階目及び二階目の二次元離散ウェーブレット分解を行う。そして、ウェーブレット分解手段１５は、三階目の二次元離散ウェーブレット分解を行う。具体的には、ウェーブレット分解手段１５は、図７（ｂ）に示すように、Ｂ１１，Ｂ１２，Ｂ２１，Ｂ２２で構成された一つの低周波数領域の空間周波数成分から、低周波数領域Ｂ１１の空間周波数成分と、三つの高周波数領域Ｂ１２，Ｂ２１，Ｂ２２の空間周波数成分とを算出する。ここで、例えば、この低周波数領域Ｂ１１は、水平方向及び垂直方向の空間周波数成分が０(CPD)以上３．７５(CPD)未満である。また、例えば、高周波数領域Ｂ１２は、水平方向の空間周波数成分が３．７５(CPD)以上７．５(CPD)未満である。また、例えば、高周波数領域Ｂ２１は、垂直方向の空間周波数成分が３．７５(CPD)以上７．５(CPD)未満である。さらに、例えば、高周波数領域Ｂ２２は、水平方向及び垂直方向の空間周波数成分が３．７５(CPD)以上７．５(CPD)未満である。

次に、符号化画像補正手段１６は、補正係数記憶手段１３から、二次元三階離散ウェーブレット分解に対応した補正係数として、表２を読み出す。そして、符号化画像補正手段１６は、高周波数領域Ｂ１２，Ｂ２１，Ｂ２２，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，Ｂ７の空間周波数成分に、これらに応じた補正係数を乗算する。具体的には、符号化画像補正手段１６は、例えば、水平方向又は垂直方向の少なくとも一方が３．７５(CPD)以上７．５(CPD)未満である高周波数領域Ｂ１２，Ｂ２１，Ｂ２２については、これら領域の空間周波数成分に補正係数０．８５を乗算する。また、例えば、符号化画像補正手段１６は、水平方向又は垂直方向の少なくとも一方が７．５(CPD)以上１５(CPD)未満である高周波数領域Ｂ２，Ｂ４，Ｂ５については、これら領域の空間周波数成分に補正係数０．７１を乗算する。さらに、例えば、水平方向又は垂直方向の少なくとも一方が１５(CPD)以上３０(CPD)未満である高周波数領域Ｂ３，Ｂ６，Ｂ７については、これら領域の空間周波数成分に補正係数０．２２を乗算する。

また、図５と同様に、符号化画像補正手段１６は、解像度異方性領域Ｂ２２については、その空間周波数成分に補正係数０．８５と解像度異方性係数０．５とを乗算する。また、符号化画像補正手段１６は、解像度異方性領域Ｂ５については、その空間周波数成分に補正係数０．７１と解像度異方性係数０．５とを乗算する。さらに、符号化画像補正手段１６は、解像度異方性領域Ｂ７については、その空間周波数成分に補正係数０．２２と解像度異方性係数０．５とを乗算する。なお、解像度異方性係数は、０．５に限定されないことは言うまでもない。

以下、図１に戻り、符号化画像補正装置１の構成について、説明を続ける。
ウェーブレット再構成手段１７は、符号化画像補正手段１６が補正した空間周波数成分を二次元多階離散ウェーブレット再構成し、補正後符号化画像を出力するものである。ここで、ウェーブレット階数設定手段１２からの階数設定信号が示す階数分、ウェーブレット分解と逆の手順で、ウェーブレット再構成を行う。そして、ウェーブレット再構成手段１７は、高周波数領域の空間周波数成分を低減した補正後符号化画像を生成し、ガンマ補正手段１８に出力する。

ガンマ補正手段１８は、ウェーブレット再構成手段１７からの補正後符号化画像を、ガンマ補正するものである。ここで、逆ガンマ補正手段１４が符号化画像を逆ガンマ補正したため、ガンマ補正手段１８は、逆ガンマ補正と逆の手順で、補正後符号化画像をガンマ補正する。このとき、ガンマ補正手段１８は、ガンマ値設定手段１１からのガンマ値設定信号に含まれるガンマ値を用いて、ガンマ補正しても良い。

［符号化画像補正装置の動作］
以下、図８を参照して、図１の符号化画像補正装置１の動作について、説明する（適宜図１参照）。なお、図８では、補正係数記憶手段１３が補正係数及び解像度異方性係数を記憶しているものとして説明する。

まず、符号化画像補正装置１は、逆ガンマ補正手段１４によって、入力された符号化画像を逆ガンマ補正する（ステップＳ１１：逆ガンマ補正）。また、符号化画像補正装置１は、ウェーブレット分解手段１５によって、ステップＳ１１で逆ガンマ補正した符号化画像を二次元多階離散ウェーブレット分解し、周波数領域毎に符号化画像の空間周波数成分を算出する（ステップＳ１２：ウェーブレット分解）。

ステップＳ１２の処理に続いて、符号化画像補正装置１は、符号化画像補正手段１６によって、ステップＳ１２で算出した周波数領域毎の空間周波数成分に、周波数領域に応じた補正係数を乗算して補正する（ステップＳ１３：符号化画像の補正）。

ステップＳ１３の処理に続いて、符号化画像補正装置１は、符号化画像補正手段１６によって、ステップＳ１３で補正した空間周波数成分に対し、解像度異方性係数の乗算を行う（ステップＳ１４：解像度異方性係数の乗算）。

ステップＳ１４の処理に続いて、符号化画像補正装置１は、ウェーブレット再構成手段１７によって、ステップＳ１４で乗算した空間周波数成分を二次元多階離散ウェーブレット再構成し、補正後符号化画像を出力する（ステップＳ１５：ウェーブレット再構成）。また、符号化画像補正装置１は、ガンマ補正手段１８によって、ステップＳ１５で出力された補正後符号化画像を、ガンマ補正する（ステップＳ１６：ガンマ補正）。

以上のように、本発明の実施形態に係る符号化画像補正装置１は、ウェーブレット分解を用いる符号化方式において、高周波数領域の空間周波数成分を低減した補正後符号化画像を出力するため、画質の劣化を低減しつつ符号化効率を向上させることができる。

また、本発明の実施形態に係る符号化画像補正装置１は、ウェーブレット分解を用いて、符号化画面全体を周波数領域毎に補正するため、ウェーブレット分解を用いるｄｉｒａｃ、ＪＰＥＧ（Joint Photographic Experts Group）２０００等の符号化方式の場合、従来の空間領域ブロック分割による補正フィルタと比べて、補正効果が優れる。さらに、本発明の実施形態に係る符号化画像補正装置１は、ウェーブレット分解を用いる符号化方式においては、ウェーブレット分解を行う回路やプログラムを共用できるため、構成を簡易にできると共に、この符号化方式と親和性が高い。

また、本発明の実施形態に係る符号化画像補正装置１は、ＭＰＥＧ−２、ＭＰＥＧ−４ＡＶＣ等の符号化方式においても、肉眼のコントラスト感度特性が帯域通過特性を持ち、輝度が低いと低域通過特性になるという視覚特性と、肉眼の斜め方向の感度が低くなる視覚特性とを利用しているため、直交変換及び動き検出エラーによるブロック状の符号化アーティファクト（高周波数雑音成分）に対し、優れた補正効果を発揮する。

また、本発明の実施形態に係る符号化画像補正装置１は、雑音除去処理のプリフィルタとして用いることができる。さらに、本発明の実施形態に係る符号化画像補正装置１は、符号化処理のポストフィルタとして用いることもできる。

なお、本発明の実施形態では、ウェーブレット分解及びウェーブレット再構成の階数を二又は三として説明したが、特に制限されない。ここで、ウェーブレット分解及びウェーブレット再構成の階数は、二以上六以下の値とすることが一般的である。例えば、符号化画像補正装置１は、符号化画像がハイビジョン解像度であればこの階数を四とし、符号化画像がスーパーハイビジョン解像度であればこの階数を六とする。このとき、符号化画像補正装置１では、この階数に応じて、補正係数を予め設定しておくことは言うまでも無い。

なお、本発明の実施形態では、符号化画像補正装置１を独立した装置として説明したが、本発明は、これに限定されない。例えば、本発明は、補正係数記憶手段１３を備えるコンピュータにおいて、演算装置等のハードウェア資源を前記した各手段として協調動作させるプログラムによっても実現できる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。

１ 符号化画像補正装置
１１ ガンマ値設定手段
１２ ウェーブレット階数設定手段
１３ 補正係数記憶手段（記憶手段）
１４ 逆ガンマ補正手段
１５ ウェーブレット分解手段
１６ 符号化画像補正手段
１７ ウェーブレット再構成手段
１８ ガンマ補正手段

Claims (2)

1. 符号化された画像である符号化画像における高周波数領域の空間周波数成分を低減する符号化画像補正装置であって、
   前記符号化画像が入力されると共に、当該符号化画像を二次元多階離散ウェーブレット分解し、多階に分解した周波数領域毎に前記符号化画像の空間周波数成分を算出するウェーブレット分解手段と、
   正弦波コントラストの振幅の最小値Ｌ _ｍｉｍ と最大値Ｌ _ｍａｘ とが含まれる式（１）のマイケルソンコントラストＭＣで定義され、前記二次元多階離散ウェーブレット分解に対応した周波数領域毎のコントラスト感度値について正規化して予め設定した補正係数を記憶すると共に、水平方向と垂直方向との両方向に前記高周波数領域を有する解像度異方性領域の空間周波数成分について、低周波数領域の左上頂点を基準とした前記解像度異方性領域の左上頂点の角度に応じて予め設定された解像度異方性係数を記憶する記憶手段と、
   前記ウェーブレット分解手段が算出した周波数領域毎の空間周波数成分に、当該周波数領域に応じた前記補正係数を乗算し、前記解像度異方性領域の空間周波数成分について、前記解像度異方性係数をさらに乗算して補正する符号化画像補正手段と、
   前記符号化画像補正手段が補正した前記空間周波数成分を二次元多階離散ウェーブレット再構成し、補正後符号化画像を出力するウェーブレット再構成手段と、
   を備えることを特徴とする符号化画像補正装置。
   但し、ＭＣ＝（Ｌ _ｍａｘ −Ｌ _ｍｉｍ ）／（Ｌ _ｍａｘ ＋Ｌ _ｍｉｍ ）・・・式（１）
2. 符号化された画像である符号化画像における高周波数領域の空間周波数成分を低減するために、正弦波コントラストの振幅の最小値Ｌ _ｍｉｍ と最大値Ｌ _ｍａｘ とが含まれる式（１）のマイケルソンコントラストＭＣで定義され、二次元多階離散ウェーブレット分解に対応した周波数領域毎のコントラスト感度値について正規化して予め設定した補正係数を記憶すると共に、水平方向と垂直方向との両方向に前記高周波数領域を有する解像度異方性領域の空間周波数成分について、低周波数領域の左上頂点を基準とした前記解像度異方性領域の左上頂点の角度に応じて予め設定された解像度異方性係数を記憶する記憶手段を備えるコンピュータを、
   前記符号化画像が入力されると共に、当該符号化画像を前記二次元多階離散ウェーブレット分解し、多階に分解した前記周波数領域毎に前記符号化画像の空間周波数成分を算出するウェーブレット分解手段、
   前記ウェーブレット分解手段が算出した周波数領域毎の空間周波数成分に、当該周波数領域に応じた前記補正係数を乗算し、前記解像度異方性領域の空間周波数成分について、前記解像度異方性係数をさらに乗算して補正する符号化画像補正手段、
   前記符号化画像補正手段が補正した前記空間周波数成分を二次元多階離散ウェーブレット再構成し、補正後符号化画像を出力するウェーブレット再構成手段、
   として機能させるための符号化画像補正プログラム。
   但し、ＭＣ＝（Ｌ _ｍａｘ −Ｌ _ｍｉｍ ）／（Ｌ _ｍａｘ ＋Ｌ _ｍｉｍ ）・・・式（１）