JP6202725B2 - 画像差分量算出装置、画像符号化装置及びプログラム - Google Patents

Description

本発明は、画像差分量算出装置、画像符号化装置及びプログラムに関する。

画像符号化や超解像（ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ）等の画像処理では、基準となる原画像と、評価対象となる評価画像との間の画像差分量を測定するものがある。画像差分量を測定する処理には、画像の特徴量を用いて客観的に測定するものや、さらに視覚特性を考慮したものがある。
例えば、特許文献１には、一系統と他の一系統の受信信号との差分信号の分散値を測定し、二つの分散値と、原画と受信画像のＳＮ比との対応テーブルを参照することにより、受信画像の原画に対する品質を評価する客観品質評価装置について記載されている。
特許文献２には、入力画像信号の予め定められた周波数成分に不可視マーカを埋め込み、埋め込まれた不可視マーカと同じ不可視マークの正検出率又は誤検出率を基に画質評価値を推定する画像処理装置について記載されている。

これらの処理において、画像差分量が、評価画像における品質の原画像からの劣化の度合いや、原画像との近似の度合いを示す指標として用いられることがある。例えば、非特許文献１には、その指標としてピーク信号雑音比（ＰＳＮＲ：Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）と構造類似度（ＳＳＩＭ：Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ）について記載されている。ＰＳＮＲは、画像の最大階調数の二乗値の平均二乗誤差に対する比の対数値である。ＳＳＩＭは、輝度比較関数（ｌｕｍｉｎａｎｃｅ ｃｏｍｐａｒｉｓｏｎ ｆｕｎｃｔｉｏｎ）とコントラスト比較関数（ｃｏｎｔｒａｓｔ ｃｏｍｐａｒｉｓｏｎ ｆｕｎｃｔｉｏｎ）との積で与えられる。

特許３５２７１４５号公報 特許４４７９９８０号公報

Ｚ．Ｗａｎｇ， Ａ．Ｃ． Ｂｏｖｉｋ， Ｈ．Ｒ． Ｓｈｅｉｋｈ ａｎｄ Ｅ．Ｐ． Ｓｉｍｏｎｃｅｌｌｉ，"Ｉｍａｇｅ ｑｕａｌｉｔｙ ａｓｓｅｓｓｍｅｎｔ： Ｆｒｏｍ ｅｒｒｏｒ ｖｉｓｉｂｉｌｉｔｙ ｔｏ ｓｔｒｕｃｔｕｒａｌ ｓｉｍｉｌａｒｉｔｙ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ． １３， ｎｏ． ４，ｐｐ．６００−６１２，Ａｐｒｉｌ ２００４

非特許文献１に記載のＰＳＮＲは、原画像の信号値から評価画像の信号値の差分値から平均二乗誤差に基づいて算出される。また、ＳＳＩＭは、原画像、評価画像の平均信号値や分散値を用いて算出される。つまり、ＰＳＮＲやＳＳＩＭは、人間の視覚特性が考慮されておらず、必ずしも主観的な画質を的確に反映することができるとは限らない。

本発明は上記の点に鑑みてなされたものであり、主観的な画質を的確に反映した客観的な画質量を取得できる画像差分量算出装置、画像符号化装置及びプログラムを提供する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、第１の画像と、前記第１の画像の符号化データを復号して得られる第２の画像のそれぞれの周波数成分を分析する周波数分析部と、前記第１の画像と前記第２の画像のそれぞれの周波数成分を周波数に応じた視覚特性で補正する視覚特性補正部と、前記視覚特性で補正した周波数成分における前記第１の画像と前記第２の画像との間の差分量を周波数間で合算する差分算出部と、前記第１の画像の信号値から前記第２の画像の信号値を画素毎に減算して差分画像の差分値を算出する差分画像生成部と、前記差分値のケプストラムのうち、符号化の単位であるブロックを構成する画素数の整数倍となる周期に対応するケプストラムを周期間で合算してブロック歪量を算出するブロック歪検出部と、前記差分算出部が合算した差分量と前記ブロック歪量とを重み付け加算して画像差分量を算出する加算部と、を備える画像差分量算出装置である。

（２）本発明のその他の態様は、入力画像を縮小する画像縮小部と、前記縮小した画像を符号化して符号化画像データを生成する符号化部と、前記符号化画像データを復号して復号縮小画像を生成する復号部と、前記復号縮小画像を複数のパラメータを用いて超解像して復号画像を生成する超解像部と、前記入力画像と前記復号画像のそれぞれの周波数成分を周波数に応じた視覚特性で補正する視覚特性補正部と、前記視覚特性で補正した周波数成分における前記入力画像と前記復号画像との間の差分量を周波数間で合算する差分算出部と、前記入力画像の信号値から前記復号画像の信号値を画素毎に減算して差分画像の差分値を算出する差分画像生成部と、前記差分値のケプストラムのうち、符号化の単位であるブロックを構成する画素数の整数倍となる周期に対応するケプストラムを周期間で合算してブロック歪量を算出するブロック歪検出部と、前記差分算出部が合算した差分量と前記ブロック歪量とを重み付け加算して画像差分量を算出する加算部と、前記複数のパラメータのうち前記差分算出部が合算した差分量が最小となるパラメータを選択するパラメータ選択部と、を備える画像符号化装置である。

（３）本発明のその他の態様は、コンピュータを、（１）の画像差分量算出装置として機能させるためのプログラムである。
（４）本発明のその他の態様は、コンピュータを、（２）の画像符号化装置として機能させるためのプログラムである。

本発明によれば、主観画質に近似する客観的な画質量を取得することができる。

本発明の第１の実施形態に係る画像差分量算出装置の構成を示す概略ブロック図である。 本実施形態に係る周波数分析部が分析した周波数成分の一例について説明する図である。 コントラスト感度特性の一例を示す図である。 本発明の第２の実施形態に係る画像差分量算出装置の構成を示す概略ブロック図である。 ブロック歪の例を示す概念図である。 算出したケプストラムの例を示す概念図である。 本発明の第３の実施形態に係る画像差分量算出装置の構成を示す概略ブロック図である。 本発明の第４の実施形態に係る画像符号化装置の構成を示す概略ブロック図である。 本実施形態に係る画像縮小部の構成の一例を示す概略ブロック図である。 本実施形態に係る超解像部の構成の一例を示す概略ブロック図である。 本実施形態に係る拡張水平高周波成分生成部が行う処理を説明する図である。 本実施形態に係る帯域合成部が行う処理を説明する図である。 本実施形態に係るパラメータ選択部の構成の一例を示す概略ブロック図である。 本実施形態に係る画像復号装置の構成を示す概略ブロック図である。

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。
図１は、本実施形態に係る画像差分量算出装置１の構成を示す概略ブロック図である。
画像差分量算出装置１は、周波数分析部１０１、視覚特性補正部１０２及び差分算出部１０３を含んで構成される。

周波数分析部１０１には、原画像信号と評価画像信号が画像差分量算出装置１の外部から入力される。原画像信号は、予め与えられた原画像を示す画像信号である。評価画像信号は、原画像との比較対象として評価される評価画像を示す画像信号である。
周波数分析部１０１は、入力された原画像信号と評価画像信号それぞれについて空間周波数毎の周波数成分を分析し、分析した原画像の周波数成分、評価画像の周波数成分をそれぞれ視覚特性補正部１０２に出力する。以下の説明では、空間周波数を単に周波数と呼ぶことがある。

周波数分析部１０１は、周波数成分を分析する際、例えば、直交変換を行う。周波数分析部１０１は、直交変換を行う方法として周波数成分を分析することができれば、いずれの方法、例えばｎ（ｎは、１以上の整数、例えば、３）階の離散ウェーブレット変換を用いてもよい。例えば、周波数分析部１０１が３階のウェーブレット変換を行った場合、各画像について周波数成分のグループＨ、ＬＨ、ＬＬＨと、周波数成分ＬＬＬ（図２参照）を取得する。以下の説明では、周波数成分のグループも単に周波数成分と呼ぶことがある。離散ウェーブレット変換を用いて得られた周波数成分の例については、後述する。

視覚特性補正部１０２には、周波数分析部１０１から原画像の周波数成分、評価画像の周波数成分がそれぞれ入力される。視覚特性補正部１０２は、入力された原画像の周波数成分、評価画像の周波数成分のそれぞれを周波数に応じた視覚特性で補正し、原画像の視覚特性補正成分、評価画像の視覚特性補正成分を生成する。視覚特性補正部１０２は、生成した原画像の視覚特性補正成分、評価画像の視覚特性補正成分をそれぞれ差分算出部１０３に出力する。

視覚特性補正部１０２は、各画像の周波数成分を視覚特性で補正する際、周波数成分毎に視覚特性を示す乗数を乗算してもよい。その視覚特性を示す乗数として、例えば、視覚のコントラスト感度特性（ＣＳＦ：Ｃｏｎｔｒａｓｔ Ｓｅｎｓｉｔｉｖｉｔｙ Ｆｕｎｃｔｉｏｎ）を各周波数成分に係る周波数帯域内でそれぞれ平均した値を用いてもよい。視覚特性補正部１０２には、その乗数を予め設定しておいてもよい。

差分算出部１０３には、視覚特性補正部１０２から原画像の視覚特性補正成分、評価画像の視覚特性補正成分が入力される。差分算出部１０３は、入力された原画像の視覚特性補正成分と評価画像の視覚特性補正成分との差分を周波数間で合算した差分量を算出し、算出した差分量を画像差分量として出力する。なお、周波数分析部１０１が周波数成分を分析する際に用いる方式によっては、入力された原画像の視覚特性補正成分ならびに評価画像の視覚特性補正成分が周波数領域の変数で示されている場合がある。その場合には、差分算出部１０３は、差分量を算出する前に、入力された原画像の視覚特性補正成分ならびに評価画像の視覚特性補正成分を空間領域の変数、即ち画素毎の信号値に変換してもよい。

差分算出部１０３は、例えば、各周波数帯域について原画像の視覚特性補正成分から評価画像の視覚特性補正成分の差分の大きさを示す指標を算出する。差分算出部１０３は、各周波数帯域について算出した指標を周波数帯域間で合算した総和を画像差分量と定める。
差分算出部１０３は、その指標として、例えば、差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）、差分絶対和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）等、を用いてもよい。

差分二乗和ＳＳＤは、式（１）に示されるように、２種類の画像をそれぞれ構成する画素毎の信号値の差分についての二乗値の総和である。

式（１）において、（ｉ，ｊ）は、それぞれ水平方向、垂直方向の画素のインデックスを示す整数である。ｍ、ｎは、処理対象となる画像の処理領域に含まれる水平方向、垂直方向の画素数を示す１より大きい整数である。Ｉ（ｉ，ｊ）は、原画像の視覚特性補正成分の画素（ｉ，ｊ）の信号値を示す。Ｋ（ｉ，ｊ）は、評価画像の視覚特性補正成分の画素Ｋ（ｉ，ｊ）の信号値を示す。

差分絶対和ＳＡＤは、式（２）に示されるように、２種類の画像間をそれぞれ構成する画素毎の信号値の差分についての絶対値の総和である。

なお、差分算出部１０３に入力された原画像、評価画像の視覚特性補正成分が周波数領域の係数（例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）係数）等、空間領域以外の領域の係数で示されていることがある。その場合には、差分算出部１０３は、入力された原画像、評価画像の視覚特性補正成分が示す係数を、それぞれ空間領域の係数に変換する。差分算出部１０３は、空間領域の係数に変換した原画像、評価画像の視覚特性補正成分を用いて、上述の差分の大きさを示す指標を算出する。

次に、本実施形態に係る周波数分析部１０１が分析した周波数成分の一例について説明する。
図２は、本実施形態に係る周波数分析部１０１が分析した周波数成分の一例について説明する図である。
図２は、３階離散ウェーブレット変換を用いて得られた周波数成分の例を示す。図２の縦軸、横軸は、それぞれ垂直方向周波数、水平方向周波数を示す。

ｎ階離散ウェーブレット変換は、ｎ階層の離散ウェーブレット変換を有する。ある階層（例えば、第１階）のある方向（例えば、水平方向）の離散ウェーブレット変換では、入力信号の周波数成分が、その方向の分割周波数よりも低い周波数帯域の低域成分と、その分割周波数よりも高い周波数帯域の高域成分とに分割される。離散ウェーブレット変換において、例えば、Ｈａａｒ基底、Ｄａｕｂｅｃｈｉｅｓ基底、等のいずれの基底を用いてもよい。ｎ階離散ウェーブレット変換では、分割された低域成分について、次の階層（例えば、第２階）について離散ウェーブレット変換が行われる。分割周波数は、例えば、その方向の上限周波数の半分の値である。

図２に示す例では、ｋ_ｘ０、ｋ_ｙ０は、それぞれ、水平方向の上限周波数、垂直方向の上限周波数を示す。水平方向の上限周波数ｋ_ｘ０、垂直方向の上限周波数ｋ_ｙ０は、それぞれ水平方向の画素間隔（ピッチ）の逆数、垂直方向の画素間隔の逆数である。
ｋ_ｘ１、ｋ_ｙ１は、それぞれ第１階の水平方向、垂直方向の離散ウェーブレット変換における分割周波数である。ｋ_ｘ１、ｋ_ｙ１は、それぞれｋ_ｘ０／２、ｋ_ｙ０／２である。ｋ_ｘ２、ｋ_ｙ２は、それぞれ第２階の水平方向、垂直方向の離散ウェーブレット変換における分割周波数である。ｋ_ｘ２、ｋ_ｙ２は、それぞれｋ_ｘ１／２、ｋ_ｙ１／２である。ｋ_ｘ３、ｋ_ｙ３は、それぞれ第３階の水平方向、垂直方向の離散ウェーブレット変換における分割周波数である。ｋ_ｘ３、ｋ_ｙ３は、それぞれｋ_ｘ２／２、ｋ_ｙ２／２である。このように、各階層において分割された低域成分の上限周波数、即ち分割された高域成分の下限周波数が分割前の上限周波数の半値になるように帯域分割が行われる（オクターブ分割）。

ここで、周波数分析部１０１は、入力された各画像信号について第１階の水平方向の離散ウェーブレット変換と第１階の垂直方向の離散ウェーブレット変換を行う。これにより、周波数成分Ｈと、それよりも水平方向の周波数及び垂直方向の周波数が低い低域成分とが取得される。周波数成分Ｈは、周波数成分Ｈ１、Ｈ２、Ｈ３からなる。周波数成分Ｈ１は、ｋ_ｘ１からｋ_ｘ０までの水平方向周波数と垂直方向周波数が０からｋ_ｙ１までの垂直方向周波数を有する周波数成分からなる。周波数成分Ｈ１のように、水平方向に高域成分を含み垂直方向に低域成分を含む周波数成分を水平高周波成分と呼ぶことがある。周波数成分Ｈ２は、０からｋ_ｘ１までの水平方向周波数とｋ_ｙ１からｋ_ｙ０までの垂直方向周波数を有する周波数成分からなる。周波数成分Ｈ２のように、水平方向に低域成分を含み垂直方向に高域成分を含む周波数成分を垂直高周波成分と呼ぶことがある。周波数成分Ｈ３は、ｋ_ｘ１からｋ_ｘ０までの水平方向周波数とｋ_ｙ１からｋ_ｙ０までの垂直方向周波数を有する周波数成分からなる。周波数成分Ｈ３のように、水平方向、垂直方向ともに高域成分を含む周波数成分を対角高周波成分と呼ぶことがある。周波数分析部１０１への入力信号において水平方向の画素間間隔と垂直方向の画素間間隔が等しい場合には、周波数成分Ｈ１、Ｈ３が有する水平方向周波数の帯域ｋ_ｘ１〜ｋ_ｘ０と周波数成分Ｈ２、Ｈ３が有する垂直方向周波数の帯域ｋ_ｙ１〜ｋ_ｙ０が等しくなる。このように、周波数分析部１０１は、水平方向周波数の帯域と垂直方向周波数の帯域が重複する周波数成分の組（例えば、周波数成分Ｈ１、Ｈ２、Ｈ３）を同一の階層の周波数成分（例えば、周波数成分Ｈ）にグルーピングする。後述するように、視覚特性補正部１０２では、グルーピングされた周波数成分毎に視覚特性で補正することで補正に係る処理が簡略化される。
なお、水平方向、垂直方向ともに低域成分を含む周波数成分を低周波成分と呼ぶことがある。

周波数分析部１０１は、周波数成分Ｈよりも周波数が低い低域成分、つまり低周波数成分について第２階の水平方向の離散ウェーブレット変換と第２階の垂直方向の離散ウェーブレット変換を行う。これにより、周波数成分ＬＨと、それよりも水平方向の周波数もしくは垂直方向の周波数が低い低域成分とを分割する。周波数成分ＬＨは、周波数成分ＬＨ１、ＬＨ２、ＬＨ３からグルーピングされる。周波数成分ＬＨ１は、ｋ_ｘ２からｋ_ｘ１までの水平方向周波数と０からｋ_ｙ２までの垂直方向周波数とを有する周波数成分からなる。周波数成分ＬＨ２は、０からｋ_ｘ２までの水平方向周波数とｋ_ｙ２からｋ_ｙ１までの垂直方向周波数とを有する周波数成分からなる。周波数成分ＬＨ３は、ｋ_ｘ２からｋ_ｘ１までの水平方向周波数とｋ_ｙ２からｋ_ｙ１までの垂直方向周波数とを有する周波数成分からなる。

周波数分析部１０１は、周波数成分ＬＨよりも周波数が低い低域成分について第３階の水平方向の離散ウェーブレット変換と第３階の垂直方向の離散ウェーブレット変換を行う。これにより、周波数成分ＬＬＨと、それよりも水平方向周波数及び垂直方向周波数が低い低域成分、つまり周波数成分ＬＬＬとを分割する。周波数成分ＬＬＨは、周波数成分ＬＬＨ１、ＬＬＨ２、ＬＬＨ３からグルーピングされる。周波数成分ＬＬＨ１は、ｋ_ｘ３からｋ_ｘ２までの水平方向周波数と０からｋ_ｙ３までの垂直方向周波数を有する周波数成分からなる。周波数成分ＬＬＨ２は、０からｋ_ｘ３までの水平方向周波数とｋ_ｙ３からｋ_ｙ２までの垂直方向周波数とを有する周波数成分からなる。周波数成分ＬＬＨ３は、ｋ_ｘ３からｋ_ｘ２までの水平方向周波数と、ｋ_ｙ３からｋ_ｙ２までの垂直方向周波数とを有する周波数成分からなる。周波数成分ＬＬＬは、０からｋ_ｘ３までの水平方向周波数と、０からｋ_ｙ３までの垂直方向周波数とを有する周波数成分からなる。これにより、ｎ階離散ウェーブレット変換では、ｎ＋１個の周波数成分、例えば、上述した４つの周波数成分Ｈ、ＬＨ、ＬＬＨ、ＬＬＬが得られる。
なお、上述では、水平方向の階層数と垂直方向の階層数が等しい場合を例にとって説明したが、本実施形態では、水平方向の階層数と垂直方向の階層数が異なっていてもよい。

次に、コントラスト感度特性の一例について説明する。
図３は、コントラスト感度特性の一例を示す図である。
図３の縦軸、横軸は、それぞれコントラスト感度、空間周波数を示す。コントラスト感度は、輝度の空間変化の感度を示す指標であり、その値が大きいほど感度が高いことを示す。コントラスト感度は、輝度の空間変化の知覚可能な最小値を平均輝度で正規化した値である。

コントラスト感度は、主に空間周波数に依存する。図３に示す例では、空間周波数が約３（サイクル／度）のときコントラスト感度が約６００と最大となる。この空間周波数よりも空間周波数が高いとき、空間周波数が高いほどコントラスト感度が低くなる。他方、この空間周波数よりも空間周波数が低いとき、空間周波数が低いほどコントラスト感度が低くなる。コントラスト感度を検知可能な空間周波数の上限は、約１／６０度となる。この上限は、視覚の空間分解能、即ち視力に相当する。コントラスト感度は、輝度自体や輝度の変化方向にも依存するが、その依存性は空間周波数による依存性ほど顕著ではない。

上述したように、視覚特性補正部１０２が周波数成分に乗算する乗数は、前述したコントラスト感度を各周波数成分（例えば、周波数成分ＬＬＬ）に係る周波数帯域内で平均して算出される。視聴される画像の空間周波数は、その画像を表示するディスプレイ装置における画素間間隔とディスプレイ装置からの距離によって定められる。例えば、高精細度テレビジョン（ＨＤＴＶ：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）方式に則ったディスプレイ装置の画素間隔は、標準視聴位置を基準として１／６０度に相当する。標準視聴位置は、画像表示領域の中心から、画像表示領域の高さの３倍だけ離れた位置である。その場合、水平方向の上限周波数ｋ_ｘ０、垂直方向の上限周波数ｋ_ｙ０は、それぞれ３０サイクル／度となる。その場合、周波数成分Ｈ、ＬＨ、ＬＬＨ、ＬＬＬにそれぞれ対応する乗数は、０．３、１．０、１．４、０．９となる。

以上に説明したように、本実施形態は、第１の画像（例えば、原画像）と第２の画像（例えば、評価画像）のそれぞれの周波数成分を分析する周波数分析部（例えば、周波数分析部１０１）を備える。また、本実施形態は、第１の画像と第２の画像のそれぞれの周波数成分を周波数に応じた視覚特性（例えば、コントラスト感度特性）で補正する視覚特性補正部（例えば、視覚特性補正部１０２）を備える。また、本実施形態は、視覚特性で補正した周波数成分における第１の画像と第２の画像との間の差分量（例えば、ＳＳＤ、ＳＡＤ）を周波数間で合算する差分算出部（例えば、差分算出部１０３）とを備える。
これにより、第１の画像と第２の画像との差分を視覚特性における周波数依存性で補正した画像差分量が算出される。即ち、本実施形態によれば、第１の画像との比較で第２の画像の主観画質を反映した客観的な画質量として画像差分量を得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図４は、本実施形態に係る画像差分量算出装置１ａの構成を示す概略ブロック図である。
本実施形態に係る画像差分量算出装置１ａは、差分画像生成部１０４及びブロック歪検出部１０５を含んで構成される。

差分画像生成部１０４には、原画像信号と評価画像信号が入力される。差分画像生成部１０４は、入力された原画像信号の画素毎の信号値から評価画像信号のそれぞれ対応する画素の信号値を減算して画素毎の差分値を算出する。
差分画像生成部１０４は、原画像信号の画素毎の信号値、評価画像信号の画素毎の信号値をそのまま用いる代わりに、それらの信号値をｒ（ｒは、１よりも大きい実数、例えば２）乗じた値を用いて差分値を算出してもよい。算出された差分値は、その値が大きくなるほど、その変化率が大きくなる。
差分画像生成部１０４は、算出した画素毎の差分値を示す差分画像信号をブロック歪検出部１０５に出力する。

ブロック歪検出部１０５には、外部からブロックサイズ情報が入力され、差分画像生成部１０４から差分画像信号が入力される。ブロックサイズ情報は、１フレームの画像の一部であるブロックの大きさ、つまり、そのブロックを構成する水平方向の画素数と垂直方向の画素数を示す情報である。ブロックは、例えば、画像符号化、その他の処理において画像を処理する単位である。なお、ブロック歪検出部１０５にブロックサイズ情報を予め記憶させておいてもよい。

ブロックサイズは、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−２の場合、水平方向１６画素×垂直方向１６画素である。ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の場合、水平方向１６画素×垂直方向１６画素、水平方向１６画素×垂直方向８画素、水平方向８画素×垂直方向１６画素、水平方向８画素×垂直方向８画素、水平方向８画素×垂直方向４画素、水平方向４画素×垂直方向８画素、水平方向４画素×垂直方向４画素のいずれかである。

ブロック歪検出部１０５は、入力された差分画像信号が示す差分値の周期性の度合いを水平方向、垂直方向それぞれの方向について解析する。
ブロック歪検出部１０５は、差分画像信号について例えば、それぞれ水平方向、垂直方向への１次元のケプストラム解析を行い、主規制の度合いを示す指標として水平方向、垂直方向のケプストラムを算出する。ケプストラム解析を行う際、ブロック歪検出部１０５は、それぞれの方向について空間領域の差分値についてＤＦＴを行って周波数領域の差分値を算出し、算出した周波数領域の差分値の絶対値をとる。ブロック歪検出部１０５は、得られた絶対値の対数値を算出し、算出した対数値について位相アンラッピング（ｕｎｗｒａｐｐｉｎｇ）を行い、位相アンラッピングが行われた対数値についてＤＦＴを行ってケプストラムを算出する。

ブロック歪検出部１０５は、解析した水平方向、垂直方向それぞれの周期性のうち、ブロックサイズ情報が示す画素数に応じた周期での周期性を検出する。ブロック歪検出部１０５は、例えば、算出した水平方向のケプストラムから、水平方向の画素数の整数倍の値を有するケフレンシにそれぞれ対応するケプストラムを抽出する。ケフレンシは、周期を示す指標である。また、ブロック歪検出部１０５は、算出した垂直方向のケプストラムから、垂直方向の画素数の整数倍の周期をケフレンシとして、それぞれ対応するケプストラムを抽出する。ブロック歪は、後述するように、水平方向又は垂直方向の画素数の整数倍の周期を有する信号値の誤差に起因し、主観画質に有意な影響を与えることがあるためである。
ブロック歪検出部１０５は、水平方向、垂直方向の各周期について抽出したケプストラムを各方向の周期間で合算し、合算して得られた合計値をブロック歪量として算出する。ブロック歪検出部１０５は、算出したブロック歪量を画像差分量として出力する。

次に、ブロック歪の例について説明する。
図５は、ブロック歪の例を示す概念図である。
ブロック歪は、ブロック単位で処理を行う非可逆の画像符号化方式で符号化された符号化データを復号した復号画像に現れる信号値の誤差である。これは、非可逆の画像符号化方式で符号化した符号化データを復号しても、完全に原画像が復元されないことによる。そのような画像符号化方式には、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ、等がある。ブロック歪は、表示されている画像にその一部である四角形のブロックの輪郭として観測されることがある。ブロック歪は、ブロックノイズとも呼ばれる。

図５に表示されている画像Ｉ０１のほぼ中央部には笑顔が示されている。この笑顔に重畳している格子状の輪郭がブロックノイズＢＩ０１である。ブロック歪は、互いに隣接するブロックの境界において、画素毎の信号値の連続性が失われ、急激に変化することによって生じる。そこで、ブロック歪検出部１０５は、ブロックサイズに応じた水平方向、垂直方向の周期での周期性の度合いを示す指標としてケプストラムを用い、その周期のケプストラムをブロック歪みの度合いとして検出する。

次に、算出したケプストラムの例について説明する。
図６は、算出したケプストラムの例を示す概念図である。
図６において、縦軸、横軸は、それぞれケプストラム、ケフレンシを示す。横軸に示されているｂ_ｘは、水平方向のブロックサイズを示す。
図６が示すケプストラムは、ブロック歪検出部１０５が算出した水平方向のケプストラムである。この例では、ＭＰＥＧ−４ ＡＶＣを用いて原画像信号を符号化して符号化データを復号した復号画像信号を評価画像信号として生成した差分画像信号が用いられている。このケプストラムは、ｂ_ｘ、２ｂ_ｘ、３ｂ_ｘ、…と、ｂ_ｘ間隔でピークを有する。これらのピークは、原画像には表れていない水平方向のブロック歪みの度合いを示す。ブロック歪検出部１０５は、これらのピーク値を合計して水平方向のブロック歪量を算出する。ブロック歪検出部１０５は、垂直方向についても同様に、垂直方向のブロック歪量を算出する。

以上に説明したように、本実施形態は、第１の画像（例えば、原画像）と第２の画像（例えば、評価画像）との差分画像を生成する差分画像生成部（例えば、差分画像生成部１０４）を備える。また、本実施形態は、複数の画素で構成されるブロックの大きさ（例えば、ブロックの水平方向、垂直方向の画素数）に応じた周期（例えば、ケフレンシ）毎の周期性の度合い（例えば、ケプストラム）を周期間で合算してブロック歪量を検出するブロック歪検出部（例えば、ブロック歪検出部１０５）を備える。
従って、本実施形態によれば、第１の画像と第２の画像との差分画像における画像ブロックの大きさに応じた周期を有するブロック歪の大きさを示すブロック歪量を客観的な画質量である画像差分量の一種として得ることができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
図７は、本実施形態に係る画像差分量算出装置１ｂの構成を示す概略ブロック図である。
本実施形態に係る画像差分量算出装置１ｂは、周波数分析部１０１、視覚特性補正部１０２、差分算出部１０３、差分画像生成部１０４、ブロック歪検出部１０５、乗算部１０６及び加算部１０７を含んで構成される。即ち、画像差分量算出装置１ｂは、画像差分量算出装置１（図１）の各構成と、画像差分量算出装置１ａ（図４）の各構成を並列して備え、更に乗算部１０６と加算部１０７を備える。

乗算部１０６は、ブロック歪検出部１０５からブロック歪量が入力され、入力されたブロック歪量に予め定めた重み係数αを乗算する。重み係数αは、０よりも大きい実数値であればよい。乗算部１０６は、重み係数αが乗算された重み付けブロック歪量を加算部１０７に出力する。
加算部１０７には、差分算出部１０３から画像差分量が入力され、乗算部１０６から重み付けブロック歪量が入力される。以下では、乗算部１０６から入力された重み付けブロック歪量と区別するために、差分算出部１０３から入力された画像差分量を視覚特性補正差分量または略して視覚差分量と呼ぶ。加算部１０７は、入力された重み付けブロック歪量と視覚差分量とを加算して画像差分量を算出し、算出した画像差分量を出力する。
ここで、視覚差分量にはブロック歪による寄与が反映されるが、視覚差分量を算出する際に、上述したように各周波数成分内で平均化されたコントラスト感度特性が用いられることがある。他方、ブロック歪の周波数特性は、入力画像によって大きく異なりうるため、視覚差分量だけでは、ブロック歪に対する視覚への影響が十分に反映されないことがある。そこで、本実施形態では、視覚特性とブロック歪による影響を考慮して客観的に画像差分量を算出することができる。

なお、重み係数αは、原画像の特徴に応じて可変であってもよい。そこで、画像差分量算出装置１ｂは、原画像信号が示す原画像の特徴に応じて重み係数αを定める重み設定部（図示せず）を備え、重み設定部は、定めた重み係数αを乗算部１０６に設定してもよい。
重み設定部は、例えば、予め定めた画像の特徴を示すパターンデータと重み係数αとを対応づけて設定しておいてもよい。ここで、重み設定部は、公知の画像認識処理（例えば、Ａｄａｂｏｏｓｔ法）を行って原画像信号が示す原画像に適合したパターンデータを定め、定めたパターンデータに対応する重み係数αを選択する。
また、重み設定部は、原画像信号の平均輝度が低いほど、より大きい重み係数αを定めてもよい。原画像信号の平均輝度は、原画像信号が示す各画素の輝度値の平均値である。これにより、ブロック歪に係る誤差量を雑音とみなして得られる信号雑音比（ＳＮ比）が同一であっても画像全体の輝度が低いほどブロック歪が目立ちやすいという視覚特性を活用することができる。

以上に説明したように、本実施形態では、第１の実施形態において、第１の画像（例えば、原画像）と第２の画像（例えば、評価画像）との差分画像を生成する差分画像生成部（例えば、差分画像生成部１０４）をさらに備える。また、本実施形態は、複数の画素で構成されるブロックの大きさ（例えば、ブロックの水平方向、垂直方向の画素数）に応じた周期（例えば、ケフレンシ）毎の周期性の度合い（例えば、ケプストラム）を周期間で合算してブロック歪量を検出するブロック歪検出部（例えば、ブロック歪検出部１０５）を備える。また、本実施形態は、差分算出部（例えば、差分算出部１０３）が合算した差分量にブロック歪量を重み付け加算する加算部（例えば、乗算部１０６、加算部１０７）と、を備える。
従って、本実施形態によれば、第１の画像との比較で第２の画像の主観画質に近似する画像差分量とブロック歪量とを重み付け加算した画像差分量が得られる。そのため、得られた画像差分量を用いて第２の画像の主観画質とブロック歪量とを総合した主観的な画質を客観的に評価することができる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
図８は、本実施形態に係る画像符号化装置２の構成を示す概略ブロック図である。
画像符号化装置２は、画像縮小部２０１、符号化部２０２、復号部２０３、超解像部２０４、パラメータ選択部２０５及び符号化データ生成部２０６を含んで構成される。

画像縮小部２０１には、原画像信号が入力される。画像縮小部２０１は、入力された原画像信号をフレーム毎に縮小し縮小画像信号を生成する。ここで、縮小とは解像度を低減、つまり１フレームの画像を示すために用いられる画素数を減少させることである。縮小における縮小率は、例えば、水平方向、垂直方向ともに１／２であってもよい。その場合、縮小画像信号が示す縮小画像の水平方向、垂直方向の画素数は、原画像信号が示す原画像のそれらのそれぞれ１／２となる。画像縮小部２０１は、生成した縮小画像信号を符号化部２０２に出力する。

符号化部２０２には、画像縮小部２０１から縮小画像信号が入力される。符号化部２０２は、入力された縮小画像信号を予め定めた画像符号化方式を用いて符号化し符号化画像データを生成する。符号化部２０２は、その画像符号化方式として、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ等の非可逆の画像符号化方式を用いる。符号化部２０２は、生成した符号化画像データを復号部２０３及び符号化データ生成部２０６に出力する。

符号化部２０２は、符号化方式によっては、入力された縮小画像信号と符号化画像データから復号される縮小画像信号との画像残差量を算出する場合がある。その場合、符号化部２０２は、上述した画像差分量算出装置１（図１）、１ａ（図４）、１ｂ（図７）のいずれかと同様の構成を有する画像差分量算出部（図示せず）を備えてもよい。当該画像差分量算出部は、原画像信号、参照画像信号として、それぞれ入力された縮小画像信号、複数の候補の符号化画像データから復号された縮小画像信号を用い、画像差分量が最も小さい符号化画像データを選択する。これにより、入力された縮小画像に主観的な画質が最も近似する縮小画像に対応する符号化画像データが選択される。

復号部２０３には、符号化部２０２から入力された符号化画像データを、符号化部２０２が用いた符号化方式に対応する復号方式を用いて復号して復号縮小画像信号を生成する。符号化部２０２、復号部２０３が用いる画像符号化方式、復号方式がそれぞれ十分な品質をもたらすものであれば、復号縮小画像信号が示す復号縮小画像は、画像縮小部２０１が生成した縮小画像に近似する。復号部２０３は、生成した復号縮小画像信号を超解像部２０４に出力する。

超解像部２０４には、復号部２０３から入力された復号縮小画像信号について超解像して復号画像信号を生成する。超解像部２０４が行う超解像での拡大率は、水平方向、垂直方向ともに、画像縮小部２０１が行う縮小における縮小率の逆数である。例えば、画像縮小部２０１での縮小率が水平方向、垂直方向ともに１／２である場合には、拡大率は水平方向、垂直方向ともに２となる。ここで、超解像部２０４は、複数の超解像パラメータのそれぞれについて超解像を行う。超解像部２０４は、生成した超解像パラメータ毎の復号画像信号をパラメータ選択部２０５に出力する。

パラメータ選択部２０５には、原画像信号が画像符号化装置２の外部から入力され、超解像パラメータ毎の復号画像信号が超解像部２０４から入力される。パラメータ選択部２０５は、入力された復号画像信号が示す復号画像のうち、原画像信号が示す原画像に最も近似する復号画像に係る超解像パラメータを選択する。パラメータ選択部２０５は、選択した超解像パラメータを符号化データ生成部２０６に出力する。パラメータ選択部２０５の構成については後述する。

符号化データ生成部２０６は、符号化部２０２から入力された符号化画像データとパラメータ選択部２０５から入力された超解像パラメータとを含む符号化データを生成する。符号化データ生成部２０６は、例えば、符号化画像データを構成する所定のフォーマットのうち、データが格納されていない未使用領域に入力された超解像パラメータを格納して符号化データを生成する。符号化データ生成部２０６は、生成した符号化データを画像符号化装置２の外部、例えば、画像復号装置３（図１４）に出力する。

次に、本実施形態に係る画像縮小部２０１の構成の一例について説明する。
図９は、本実施形態に係る画像縮小部２０１の構成の一例を示す概略ブロック図である。
画像縮小部２０１は、周波数分析部２１１及び低周波成分抽出部２１２を含んで構成される。
周波数分析部２１１は、画像符号化装置２の外部から入力された原画像信号について空間周波数毎の周波数成分を分析し、分析した原画像信号の周波数成分を低周波成分抽出部２１２に出力する。周波数分析部２１１は、周波数成分を分析する際、例えば、上述の１階の離散ウェーブレット変換を行って対角高周波成分、水平高周波成分、垂直高周波成分、低周波成分を取得してもよい。

低周波成分抽出部２１２は、周波数分析部２１１から入力された周波数成分から低周波成分を抽出する。ここで、低周波成分抽出部２１２は、周波数分析部２１１から入力された周波数成分から所定の周波数帯域、例えば、縮小率が水平方向、垂直方向ともに１／２であった場合、上述した０からｋ_ｘ１までの水平方向周波数と０からｋ_ｙ１までの垂直方向周波数を有する周波数成分を低周波成分として抽出する。低周波成分抽出部２１２は、抽出した低周波成分が示す周波数領域の変数を空間領域の変数に変換し、変換された空間領域の変数からなる画像信号を縮小画像信号として符号化部２０２に出力する。
なお、画像縮小部２０１は、上述した他、例えば、入力された原画像信号が有する画素毎の信号値のうち、水平方向、垂直方向について１画素おきに信号値を抽出し、抽出した画素毎の信号値からなる縮小画像信号を生成してもよい。

次に、本実施形態に係る超解像部２０４の構成の一例について説明する。
図１０は、本実施形態に係る超解像部２０４の構成の一例を示す概略ブロック図である。
超解像部２０４は、周波数分析部２２１、拡張水平高周波成分生成部２２２−１、拡張垂直高周波成分生成部２２２−２、拡張対角高周波成分生成部２２２−３、分散値設定部２２３及び帯域合成部２２４を含んで構成される。

周波数分析部２２１は、復号部２０３から入力された復号縮小画像信号について空間周波数毎の周波数成分を分析する。周波数分析部２２１は、周波数成分を分析する際、例えば、上述の１階の離散ウェーブレット変換を用いてもよい。周波数分析部２２１が１階のウェーブレット変換を行った場合、対角高周波成分、水平高周波成分、垂直高周波成分、低周波成分を取得する。周波数分析部２２１は、取得した対角高周波成分、水平高周波成分、垂直高周波成分を、それぞれ拡張対角高周波成分生成部２２２−３、拡張水平高周波成分生成部２２２−１、拡張垂直高周波成分生成部２２２−２に出力する。

拡張水平高周波成分生成部２２２−１は、周波数分析部２２１から入力された水平高周波成分を上述の拡大率、例えば２で拡張して、拡張水平高周波成分を生成する。ここで、拡張水平高周波成分生成部２２２−１は、入力された水平高周波成分を拡張後の低周波成分として、拡張後のその他の周波数成分、水平高周波成分、垂直高周波成分、対角高周波成分にそれぞれ０を割り当てて、各周波数成分を統合する。拡張水平高周波成分生成部２２２−１は、周波数成分を統合する際、例えば、１階のウェーブレット再構成を行う。ウェーブレット再構成は、ウェーブレット変換による帯域分割（ウェーブレット分解）の逆演算に相当し、ウェーブレット再構成で用いられる基底は周波数分析部２２１が用いた基底と同一であってもよい。拡張水平高周波成分生成部２２２−１は、統合した周波数成分について平滑化処理を行い、平滑化された周波数成分を拡張水平高周波数成分として帯域合成部２２４に出力してもよい。

拡張水平高周波成分生成部２２２−１は、平滑化処理において、例えばバイラテラルフィルタを用いてフィルタリング処理を行ってもよい。バイラテラルフィルタは、２次元のガウス関数で与えられる値をフィルタ係数として有する２次元のフィルタである。フィルタリング前の座標（ｉ，ｊ）の画素値ｆ（ｉ，ｊ）と表すと、バイラテラルフィルタを用いてフィルタリングした後の画素値ｇ（ｉ，ｊ）は、式（３）で表される。

式（３）において、ｗは、カーネルのサイズを示す予め定めた整数（例えば、３）、σ_１は、注目画素からの距離に関する分散値、σ_２は、画素値差に関する分散値をそれぞれ示す。拡張水平高周波成分生成部２２２−１は、分散値σ_１、σ_２として、ともに分散値設定部２２３から入力された分散値σ_ＬＨを用いる。複数の分散値σ_ＬＨが入力される場合には、拡張水平高周波成分生成部２２２−１は、その複数の分散値σ_ＬＨのそれぞれを用いて拡張水平高周波成分を生成し、生成した拡張水平高周波成分を帯域合成部２２４に出力する。

拡張垂直高周波成分生成部２２２−２は、周波数分析部２２１から入力された垂直高周波成分を上述の拡大率で拡張して拡張垂直高周波成分を生成する。ここで、拡張垂直高周波成分生成部２２２−２は、入力された垂直高周波成分を拡張後の低周波成分に、拡張後のその他の周波数成分にそれぞれ０を割り当てて、例えば、１階のウェーブレット再構成を行って各周波数成分を統合する。拡張垂直高周波成分生成部２２２−２は、統合した周波数成分について平滑化処理を行い、平滑化された周波数成分を拡張垂直高周波数成分として帯域合成部２２４に出力してもよい。拡張垂直高周波成分生成部２２２−２は、分散値σ_１、σ_２として、ともに分散値設定部２２３から入力された分散値σ_ＨＬを用いてもよい。複数の分散値σ_ＨＬが入力される場合には、拡張垂直高周波成分生成部２２２−２は、その複数の分散値σ_ＨＬのそれぞれを用いて拡張垂直高周波成分を生成し、生成した拡張垂直高周波成分を帯域合成部２２４に出力する。

拡張対角高周波成分生成部２２２−３は、周波数分析部２２１から入力された対角高周波成分を上述の拡大率で拡張して拡張対角高周波成分を生成する。ここで、拡張対角高周波成分生成部２２２−３は、入力された対角高周波成分を拡張後の低周波成分に、拡張後のその他の周波数成分にそれぞれ０を割り当てて、例えば、１階のウェーブレット再構成を行って各周波数成分を統合する。拡張対角高周波成分生成部２２２−３は、統合した周波数成分について平滑化処理を行い、平滑化された周波数成分を拡張対角高周波数成分として帯域合成部２２４に出力してもよい。拡張対角高周波成分生成部２２２−３は、分散値σ_１、σ_２として、ともに分散値設定部２２３から入力された分散値σ_ＨＨを用いる。複数の分散値σ_ＨＨが入力される場合には、拡張対角高周波成分生成部２２２−３は、その複数の分散値σ_ＨＨのそれぞれを用いて拡張対角高周波成分を生成し、生成した拡張対角高周波成分を帯域合成部２２４に出力する。

分散値設定部２２３には、予め複数（例えば、３個）の超解像パラメータとして分散値σ_ＬＨ、σ_ＨＬ、σ_ＨＨを記憶させておく。分散値設定部２２３は、記憶された複数の散値σ_ＬＨ、σ_ＨＬ、σ_ＨＨを読み出す。分散値設定部２２３は、読み出した分散値σ_ＬＨ、σ_ＨＬ、σ_ＨＨをそれぞれ拡張水平高周波成分生成部２２２−１、拡張垂直高周波成分生成部２２２−２、拡張対角高周波成分生成部２２２−３に出力する。また、分散値設定部２２３は、読み出した複数組の分散値σ_ＬＨ、σ_ＨＬ、σ_ＨＨを超解像パラメータとしてパラメータ選択部２０５に出力する。

帯域合成部２２４には、復号部２０３（図８）、拡張水平高周波成分生成部２２２−１、拡張垂直高周波成分生成部２２２−２、拡張対角高周波成分生成部２２２−３から復号縮小画像信号、拡張水平高周波成分、拡張垂直高周波成分、拡張対角高周波成分がそれぞれ入力される。帯域合成部２２４は、入力された復号縮小画像信号に拡張水平高周波成分、拡張垂直高周波成分、拡張対角高周波成分を合成して復号画像信号を生成する。帯域合成部２２４は、復号縮小画像信号に拡張水平高周波成分等を合成する処理を行う際、例えば、１階のウェーブレット再構成を行う。ウェーブレット再構成で用いられる基底は周波数分析部２２１が用いた基底と同一であってもよい。帯域合成部２２４は、ウェーブレット再構成を行う際、入力された復号縮小画像信号の周波数成分、拡張水平高周波成分、拡張垂直高周波成分、拡張対角高周波成分をそれぞれ、低域成分、水平高周波成分、垂直高周波成分、対角高周波成分の周波数領域に割り当てる。

帯域合成部２２４には、拡張水平高周波成分、拡張垂直高周波成分、拡張対角高周波成分は、それぞれの分散値に対応して１フレームの復号縮小画像信号について複数個ずつ入力される。帯域合成部２２４は、これらの全ての組み合わせについて復号画像信号を生成する。例えば、拡張水平高周波成分、拡張垂直高周波成分、拡張対角高周波成分がそれぞれ３個ずつ入力される場合には、帯域合成部２２４は、２７（＝３^３）通りの復号画像信号を生成する。帯域合成部２２４は、生成した復号画像信号をパラメータ選択部２０５に出力する。この場合、パラメータ選択部２０５は、２７通りの分散値の組から１通りの分散値の組を選択する。

次に、拡張水平高周波成分生成部２２２−１が拡張水平高周波成分を生成する処理について説明する。
図１１は、本実施形態に係る拡張水平高周波成分生成部２２２−１が行う処理を説明する図である。
図１１（ａ）〜（ｃ）において、縦軸、横軸は、それぞれ垂直方向周波数、水平方向周波数を示す。図１１（ａ）の左下、右下、左上、右上に示されている長方形の領域ＬＬ、ＬＨ、ＨＬ、ＨＨは、それぞれ周波数分析部２１１から入力された低周波成分、水平高周波成分、垂直高周波成分、対角高周波成分の周波数帯域を表す。図１１（ｂ）の左下に示されている領域ＬＨ、その他の３つの領域には、周波数分析部２１１から入力された水平高周波成分が低域成分に割り当てられ、その他の帯域の周波数成分に０が割り当てられたことを示す。図１１（ｃ）に示されている四角形の領域Ｅｘ．ＬＨは、ウェーブレット再構成によって生成された拡張水平高周波成分を示す。同様にして、拡張垂直高周波成分生成部２２２−２、拡張対角高周波成分生成部２２２−３は、それぞれ周波数分析部２１１から入力された垂直高周波成分、対角高周波成分について拡張垂直高周波成分、拡張対角高周波成分を生成する。

次に、帯域合成部２２４が復号画像信号を生成する処理について説明する。
図１２は、本実施形態に係る帯域合成部２２４が行う処理を説明する図である。
図１２において、縦軸、横軸は、それぞれ垂直方向周波数、水平方向周波数を示す。図１２の左下、右下、左上、右上に示されている四角形の領域Ｓ、Ｅｘ．ＬＨ、Ｅｘ．ＨＬ、Ｅｘ．ＨＨは、復号縮小画像信号の周波数成分、拡張水平高周波成分、拡張垂直高周波成分、拡張対角高周波成分を示す。即ち、これらの周波数成分が低域成分、水平高周波成分、垂直高周波成分、対角高周波成分として合成に係る処理が行われる前に割り当てられたことを示す。帯域合成部２２４は、各周波数成分が割り当てられた係数群について１階のウェーブレット再構成を行って復号画像信号を生成する。

次に、本実施形態に係るパラメータ選択部２０５の構成の一例について説明する。
図１３は、本実施形態に係るパラメータ選択部２０５の構成の一例を示す概略ブロック図である。
パラメータ選択部２０５は、画像差分量算出部２３１及びパラメータ判定部２３２を含んで構成される。
画像差分量算出部２３１には、画像符号化装置２（図８）の外部から原画像信号が入力され、超解像部２０４（図８）から縮小復号画像１フレームについて複数通りの復号画像信号が入力される。また、画像差分量算出部２３１には、分散値設定部２２３（図１０）から超解像パラメータが入力される。入力された複数通りの復号画像信号のそれぞれは、入力された超解像パラメータからなる組に対応する。

画像差分量算出部２３１は、上述した画像差分量算出装置１（図１）、１ａ（図４）、１ｂ（図７）のいずれかと同様の構成を備えてもよい。画像差分量算出部２３１は、原画像信号、参照画像信号として、入力された原画像信号と復号画像信号のそれぞれを用いて画像差分量を算出する。画像差分量算出部２３１は、算出した画像差分量と、その画像差分量に対応する超解像パラメータをパラメータ判定部２３２に出力する。

なお、符号化部２０２（図８）が行う画像符号化においてブロックサイズが可変であって、画像差分量算出部２３１が画像差分量算出装置１ａ（図４）、１ｂ（図７）のいずれかと同様の構成を備える場合がある。その場合、符号化部２０２は、画像符号化で用いるブロックサイズを示すブロックサイズ情報を画像差分量算出部２３１が備えるブロック歪検出部１０５（図４、７）に出力してもよい。画像符号化において予め固定したブロックサイズが設定されている場合には、ブロック歪検出部１０５（図４、７）はそのブロックサイズを示すブロックサイズ情報を用いてもよい。

超解像部２０４（図８）が復号画像信号の周波数成分、例えば、復号縮小画像信号の周波数成分、拡張水平高周波成分、拡張垂直高周波成分、拡張対角高周波成分を取得し、画像差分量算出部２３１が画像差分量算出装置１（図１）、１ｂ（図７）のいずれかと同様な構成を備える場合がある。その場合には、超解像部２０４は、取得した復号画像信号の周波数成分を画像差分量算出部２３１の視覚特性補正部１０２（図１、７）に出力し、周波数分析部１０１（図１、７）において復号画像信号の周波数成分を分析する処理を省略してもよい。

パラメータ判定部２３２には、画像差分量算出部２３１から複数通りの画像差分量と、その画像差分量にそれぞれ対応する超解像パラメータが入力される。パラメータ判定部２３２は、入力された画像差分量のうち、最も小さい画像差分量に対応する超解像度パラメータの組を判定する。パラメータ判定部２３２は、判定した超解像度パラメータの組を符号化データ生成部２０６（図８）に出力する。
これにより、原画像に主観的な画質が最も近似する復号画像を示す復号画像信号に対応した超解像度パラメータが選択される。

次に、本実施形態に係る画像復号装置３の構成について説明する。
図１４は、本実施形態に係る画像復号装置３の構成を示す概略ブロック図である。
画像復号装置３は、パラメータ抽出部３０１、復号部３０２及び超解像部３０３を含んで構成される。
画像復号装置３は、画像符号化装置２（図８）が符号化した符号化データを取得する。ここで、画像復号装置３は、画像符号化装置２からネットワークを介して当該符号化データを受信してもよいし、当該符号化データを予め記憶させておいた記憶部を備えてもよい。当該ネットワークは、有線でも無線であってもよいし、複数の送信先に一斉にデータを送信する放送伝送路の一部又は全部であってもよい。

パラメータ抽出部３０１は、取得した符号化データから超解像パラメータを抽出し、符号化画像データと分離する。パラメータ抽出部３０１は、抽出した超解像パラメータを超解像部３０３に出力し、分離した符号化画像データを復号部３０２に出力する。
復号部３０２は、パラメータ抽出部３０１から入力された符号化画像データを、画像符号化装置２（図８）の符号化部２０２が用いた符号化方式に対応する復号方式を用いて復号して復号縮小画像信号を生成する。復号部３０２は、生成した復号縮小画像信号を超解像部３０３に出力する。これにより、画像符号化装置２の復号部２０３が生成した復号縮小画像信号が復元される。

超解像部３０３には、パラメータ抽出部３０１から超解像パラメータが入力され、復号部３０２から復号縮小画像信号が入力される。超解像部３０３は、入力された復号縮小画像信号について、入力された超解像パラメータを用いて、超解像して復号画像信号を生成する。超解像部３０３は、生成した復号画像信号を画像復号装置３の外部、例えば、表示部に出力する。
超解像部３０３が行う処理は、画像符号化装置２（図８）の超解像部２０４が行う処理と同様であってもよい。これにより、画像符号化装置２（図８）のパラメータ選択部２０５が選択した超解像パラメータに係る復号画像信号が復元される。即ち、符号化の対象となった原画像に主観的な画質が最も近似する復号画像を示す復号画像信号が得られる。

なお、画像符号化装置２（図８）は、雑音成分分離部（図示せず）をさらに備えてもよい。雑音成分分離部は、入力画像信号の各画素の信号値を信号成分と雑音成分に分離し、信号成分からなる信号成分画像信号と雑音成分からなる雑音成分画像信号とを生成する。雑音成分分離部は、例えば、入力画像信号の周波数成分を分析し、低周波成分、水平高周波成分、垂直高周波成分、対角高周波成分を得る。雑音成分分離部は、対角高周波成分から孤立点を検出し、検出した孤立点における要素値の絶対値についての中央値を雑音レベルと定める。孤立点とは、要素値が０でない値を有し、その周囲の要素の信号値が全て０である画素である。周囲とは、例えば、空間的及び時間的に隣接することを意味する。雑音成分分離部は、定めた雑音レベルよりも大きい要素値を有する要素は雑音成分を含む要素と判定し、それ以外の要素が雑音成分を含まない要素と判定する。雑音成分分離部は、対角高周波成分の各要素から雑音成分を分離し、対角高周波成分から雑音成分を差し引いて信号成分を生成する。雑音成分分離部は、水平高周波成分、垂直高周波成分についても、それぞれ雑音成分と信号成分を分離する。雑音成分分離部は、対角高周波成分、水平高周波成分、垂直高周波成分から生成した信号成分を統合して全周波数成分の信号成分を合成する。雑音成分分離部は、合成した信号成分を入力画像信号として画像縮小部２０１、パラメータ選択部２０５（図８）に出力する。

また、雑音成分分離部は、対角高周波成分、水平高周波成分、垂直高周波成分から生成した雑音成分を統合して全周波数成分の雑音成分を合成してもよい。その場合、画像符号化装置２（図８）は、雑音パラメータ解析部（図示せず）をさらに備えてもよい。雑音パラメータ解析部は、雑音成分分離部が合成した雑音成分の特徴を示す雑音パラメータ、例えば、周波数成分毎の二乗平均平方根（ＲＭＳ：Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ）を算出する。符号化データ生成部２０６（図８）は、雑音パラメータ解析部が算出した雑音パラメータを符号化データの一部として外部に出力してもよい。その場合、画像復号装置３のパラメータ抽出部３０１は、符号化データから雑音パラメータを抽出してもよい。画像復号装置３は、抽出した雑音パラメータが示す特徴を有する雑音成分を復元する雑音成分復元部（図示せず）と、雑音成分復元部が復元した雑音成分と超解像部３０３が生成した復号画像信号とを合成する合成部（図示せず）を備えてもよい。雑音成分復元部は、例えば、正規乱数を生成し、生成した正規乱数に周波数成分毎のＲＭＳを乗じて雑音成分の各周波数成分を復元する。雑音成分復元部は、復元した雑音成分の各周波数成分の全てから全周波数成分の雑音成分を合成する。

なお、上述では、画像縮小部２０１（図８）において縮小に係る処理として信号値を間引き、超解像部２０４（図８）、３０３において超解像に係る処理としてウェーブレット再構成を行う場合を例にとって説明したが、本実施形態ではこれには限られない。本実施形態では、縮小に係る処理、超解像に係る処理として、例えば、バイリニア法、バイキュービック法、等を用いてもよい。
なお、上述では超解像パラメータとして分散値を用いる場合を例にとって説明したが、本実施形態では、これには限られない。超解像に係る処理を特徴付けるパラメータであれば、例えば、フィルタリングに用いるフィルタのサイズ、個々のフィルタを識別するフィルタ識別子、フィルタ係数を特徴づけるモデルを示すモデル識別子であってもよい。
なお、本実施形態は、画像符号化装置２（図８）と画像復号装置３とを備える画像再生システムとして実施されてもよい。

以上に説明したように、本実施形態は、入力画像を縮小する画像縮小部（例えば、画像縮小部２０１）と、前記縮小した画像を符号化して符号化画像データを生成する符号化部（例えば、符号化部２０２）とを備える。また、本実施形態は、符号化画像データを復号して復号縮小画像を生成する復号部（例えば、復号部２０３）と、復号縮小画像を複数のパラメータを用いて超解像して復号画像を生成する超解像部（例えば、超解像部２０４）とを備える。また、本実施形態は、入力画像と前記復号画像のそれぞれの周波数成分を周波数に応じた視覚特性で補正する視覚特性補正部（例えば、視覚特性補正部１０２）を備える。また、本実施形態は、視覚特性で補正した周波数成分における入力画像と復号画像との間の差分量（例えば、ＳＳＤ、ＳＡＤ）を周波数間で合算する差分算出部（例えば、差分算出部１０３）を備える。また、本実施形態は複数のパラメータのうち差分算出部（例えば、差分算出部１０３）が合算した差分量が最小となるパラメータ（例えば、超解像パラメータ）を選択するパラメータ選択部（例えば、パラメータ選択部２０５）とを備える。

これにより、入力画像と復号画像との差分を視覚特性における周波数依存性で補正した画像差分量が算出される。本実施形態によれば、入力画像との比較で復号画像の主観画質に近似する客観的な画質量として画像差分量を用いて復号画像の画質が評価される。これにより、入力画像に最も近似する復号画像を生成するために用いられたパラメータが複数のパラメータを選択することができる。また、選択したパラメータを用いて復号画像を生成する画像復号装置において、主観的な画質が入力画像に最も近似する復号画像を復元することができる。

上述した実施形態では、周波数分析部１０１、２１１、２２１、画像差分量算出部２３１等が行う周波数分析に係る処理において、主に離散ウェーブレット変換を用いる場合を例にとって説明したが、これには限られない。上述した実施形態では、離散ウェーブレット変換の代わりに、例えば、離散コサイン変換（ＤＣＴ）、離散フーリエ変換（ＤＦＴ）等を用いてもよい。

上述した実施形態では、拡張水平高周波成分生成部２２２−１、拡張垂直高周波成分生成部２２２−２、拡張対角高周波成分生成部２２２−３、帯域合成部２２４、超解像部３０３が周波数成分を統合する処理に、主に離散ウェーブレット再構成を用いる場合を例にとって説明したが、これには限られない。上述した実施形態では、離散ウェーブレット再構成の代わりに、例えば、逆離散コサイン変換（ＩＤＣＴ：Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、逆離散フーリエ変換（ＩＤＦＴ：Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）等を用いてもよい。

なお、上述した実施形態における画像差分量測定装置１、１ａ、１ｂ、画像符号化装置２、画像復号装置３の一部、例えば、周波数分析部１０１、視覚特性補正部１０２、差分算出部１０３、差分画像生成部１０４、ブロック歪検出部１０５、乗算部１０６、加算部１０７、画像縮小部２０１、符号化部２０２、復号部２０３、超解像部２０４、パラメータ選択部２０５、符号化データ生成部２０６、パラメータ抽出部３０１、復号部３０２、及び超解像部３０３をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像差分量測定装置１、１ａ、１ｂ、画像符号化装置２、又は画像復号装置３に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における画像差分量測定装置１、１ａ、１ｂ、画像符号化装置２及び画像復号装置３の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像差分量測定装置１、１ａ、１ｂ、画像符号化装置２及び画像復号装置３の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１、１ａ、１ｂ…画像差分量測定装置、１０１…周波数分析部、１０２…視覚特性補正部、１０３…差分算出部、１０４…差分画像生成部、１０５…ブロック歪検出部、
１０６…乗算部、１０７…加算部、
２…画像符号化装置、
２０１…画像縮小部、２０２…符号化部、２０３…復号部、２０４…超解像部、
２０５…パラメータ選択部、２０６…符号化データ生成部、
２１１…周波数分析部、２１２…低周波成分抽出部、２２１…周波数分析部、
２２２−１…拡張水平高周波成分生成部、２２２−２…拡張垂直高周波成分生成部、
２２２−３…拡張対角高周波成分生成部、２２３…分散値設定部、２２４…帯域合成部、
２３１…画像差分量算出部、２３２…パラメータ判定部、
３…画像復号装置、３０１…パラメータ抽出部、３０２…復号部、３０３…超解像部

Claims (4)

1. 第１の画像と、前記第１の画像の符号化データを復号して得られる第２の画像のそれぞれの周波数成分を分析する周波数分析部と、
   前記第１の画像と前記第２の画像のそれぞれの周波数成分を周波数に応じた視覚特性で補正する視覚特性補正部と、
   前記視覚特性で補正した周波数成分における前記第１の画像と前記第２の画像との間の差分量を周波数間で合算する差分算出部と、
   前記第１の画像の信号値から前記第２の画像の信号値を画素毎に減算して差分画像の差分値を算出する差分画像生成部と、
   前記差分値のケプストラムのうち、符号化の単位であるブロックを構成する画素数の整数倍となる周期に対応するケプストラムを周期間で合算してブロック歪量を算出するブロック歪検出部と、
   前記差分算出部が合算した差分量と前記ブロック歪量とを重み付け加算して画像差分量を算出する加算部と、
   を備える画像差分量算出装置。
2. 入力画像を縮小する画像縮小部と、
   前記縮小した画像を符号化して符号化画像データを生成する符号化部と、
   前記符号化画像データを復号して復号縮小画像を生成する復号部と、
   前記復号縮小画像を複数のパラメータを用いて超解像して復号画像を生成する超解像部と、
   前記入力画像と前記復号画像のそれぞれの周波数成分を周波数に応じた視覚特性で補正する視覚特性補正部と、
   前記視覚特性で補正した周波数成分における前記入力画像と前記復号画像との間の差分量を周波数間で合算する差分算出部と、
   前記入力画像の信号値から前記復号画像の信号値を画素毎に減算して差分画像の差分値を算出する差分画像生成部と、
   前記差分値のケプストラムのうち、符号化の単位であるブロックを構成する画素数の整数倍となる周期に対応するケプストラムを周期間で合算してブロック歪量を算出するブロック歪検出部と、
   前記差分算出部が合算した差分量と前記ブロック歪量とを重み付け加算して画像差分量を算出する加算部と、
   前記複数のパラメータのうち前記画像差分量が最小となるパラメータを選択するパラメータ選択部と、
   を備える画像符号化装置。
3. コンピュータを、請求項１に記載の画像差分量算出装置として機能させるためのプログラム。
4. コンピュータを、請求項２に記載の画像符号化装置として機能させるためのプログラム。

Images