JP7202091B2 - 画質評価装置、学習装置及びプログラム - Google Patents

Description

本発明は、画質を評価する装置に関し、特にリファレンス画像を要しない画質評価装置、学習装置及びプログラムに関する。

劣化した対象画像の画質を評価する方法として、劣化を受ける前の原画像と対象画像との差分に基づき評価を行うものがある。この評価の演算には、例えば、該差分に基づき演算される平均二乗誤差や、その対数に基づくピーク信号対雑音比（ＰＳＮＲ: Peak Signal to Noise Ratio）が用いられる。

映像符号化に起因する画質劣化を定量化する装置として、ビットストリームに含まれる映像情報（例えば、直交変換係数）及び符号化情報（例えば、量子化値）に基づき、原画像を参照せずに画質評価を可能としたものが実用化されている（例えば、特許文献１，２，３参照）。

ところで、圧縮画像の画質が良好となる符号化パラメータをニューラルネットワークに学習させることで、原画像データが与えられたときに最適な符号化パラメータを導出する画質評価装置が開示されている（例えば、特許文献４参照）。

特許第４１３３７８８号明細書 特許第６２５３９４４号明細書 特許第６０８７７７９号明細書 特許第２７９５１４７号明細書

まず、平均二乗誤差やＰＳＮＲに基づく評価法は原画像の存在が前提となるため、原画像が存在しない場合には評価値を算出することができない。

一方、特許文献１乃至特許文献３に開示される技法では、原画像を参照せずに画質評価を可能としており、直交変換係数及び量子化値など画像の圧縮符号化に用いたパラメータ情報をも利用するため、直交変換や量子化等の圧縮符号化処理を伴う特定の映像符号化方式において符号化誤差推定を有効に実行することができる。一方で、これらの技法は、種々の符号化方式に対応するためには、符号化方式ごとに個別に調整することを要する。さらに、これらの技法は、符号化以外の要因による誤差の推定に応用することを想定していない。

ところで、特許文献４に開示される技法では、ニューラルネットワークを具備する画質評価装置の実施の形態も示されているが、この技法における当該ニューラルネットワークは、圧縮後の画質が良好となるように符号化パラメータを推定するものであり、画質の評価値を演算し、演算した結果を出力するような画質評価装置及び学習装置として構成するには更なる工夫が必要となる。

そこで、本発明の目的は、上述の問題に鑑みて、参照用の原画像を用いることなく、客観的な画質評価値を高精度に得ることを可能とする画質評価装置、学習装置及びプログラムを提供することにある。

即ち、本発明による一態様の画質評価装置は、入力画像の画質を評価する画質評価装置であって、前記入力画像から部分画像を評価対象パッチとして切り出す画像パッチ切り出し部と、前記評価対象パッチを構成する画素の画素値列を基に、畳み込み層を１層以上含んで構成されるニューラルネットワークの演算により該評価対象パッチに対する評価値を生成するニューラルネットワーク部と、前記ニューラルネットワーク部によって生成した評価値に基づいて、前記入力画像又は前記部分画像の評価値を出力する出力部と、前記評価対象パッチを切り出す位置を順次走査して生成する走査部と、前記ニューラルネットワーク部によって生成した評価値を前記走査部の走査に同期して積算する積算部と、を備え、前記出力部は、前記走査部が対象画像内における走査が完了した際に前記積算部により求められた積算値を、前記入力画像の評価値として出力することを特徴とする。
これにより、入力画像の画像全体としての画質評価値を、高精度且つ自動的に導出することが可能となる。

更に、本発明による一態様の学習装置は、予め用意された１以上の学習画像から、画質評価用ニューラルネットワークのパラメータを学習生成する学習装置であって、前記学習画像に対して画質劣化を与えて劣化画像を生成する画像劣化部と、前記学習画像及び前記劣化画像のそれぞれから同一位置及び大きさの部分領域をそれぞれ原画像パッチ及び劣化画像パッチとして切り出す画像パッチ切り出し部と、前記劣化画像パッチの画質を前記原画像パッチの画素値を参照しつつ定量化した評価値を生成する参照画質評価部と、前記劣化画像パッチと該評価値の対からなる学習データを基に、学習用ニューラルネットワークの演算により前記学習データの該劣化画像パッチの画素値列から推定評価値を算出し、且つ該推定評価値と該評価値との差分を示す誤差値を用いて前記学習用ニューラルネットワークの演算上の結合重み係数の総体からなるパラメータを更新することにより、当該更新した該パラメータを当該画質評価用ニューラルネットワークのパラメータとして学習生成する学習用ニューラルネットワーク部と、前記推定評価値と前記学習データの評価値との差分を演算して前記誤差値を生成する減算部と、を備えることを特徴とする。
これにより、画質評価用ニューラルネットワークに設定すべき膨大なパラメータの最適値を、入力された学習画像と評価値の様々な対を事例として自動的に導出することが可能となる。

また、本発明による一態様の学習装置において、前記学習用ニューラルネットワーク部は、前記学習データの該劣化画像パッチの画素値列を前記学習用ニューラルネットワーク内順方向に伝播して評価値を推定することにより当該推定評価値を算出し、前記減算部により得られた当該誤差値を前記学習用ニューラルネットワーク内逆方向に伝播させて前記学習用ニューラルネットワークのパラメータを更新するようにして、前記１以上の学習画像の各々からそれぞれ得られる学習データが入力される都度、前記順方向の伝播、及び前記誤差値の逆方向の伝播により、前記学習用ニューラルネットワークのパラメータを更新し、前記１以上の学習画像に関する学習データの全て、若しくはその一部に対する前記学習用ニューラルネットワークのパラメータの更新を終えた時点を以て当該画質評価用ニューラルネットワークのパラメータとして学習生成することを特徴とする。
これにより、画質評価用ニューラルネットワークに設定すべき膨大なパラメータの最適値を、入力された学習画像と評価値の様々な対を事例として、高精度且つ自動的に導出することが可能となる。

また、本発明による一態様の学習装置において、前記画像劣化部は、前記学習画像に対して程度又は質の異なる劣化を与えて複数の劣化画像を生成し、前記画像パッチ切り出し部は、前記学習画像及び前記複数の劣化画像のそれぞれから同一位置及び大きさの部分領域をそれぞれ原画像パッチ及び複数の劣化画像パッチとして切り出し、前記参照画質評価部は、該複数の劣化画像パッチの各画質をそれぞれ前記原画像パッチの画素値を参照しつつ定量化した評価値を含むミニバッチを生成し、前記学習用ニューラルネットワーク部は、該複数の劣化画像パッチと該ミニバッチを基に、前記学習用ニューラルネットワークの演算により前記学習データの該複数の劣化画像パッチの画素値列から推定評価値を算出し、且つ該推定評価値と該評価値との差分を示す誤差値を用いて前記学習用ニューラルネットワークの演算上の結合重み係数の総体からなるパラメータを更新することにより、当該更新した該パラメータを当該画質評価用ニューラルネットワークのパラメータとして学習生成することを特徴とする。
これにより、前記ミニバッチは同一の絵柄（前記学習画像における原画像パッチ）に異なる劣化を付与した場合の劣化画像パッチと評価値とを含むことから、劣化前の絵柄の影響を受けにくいものとした、より公平な評価を可能にする当該画質評価用ニューラルネットワークのパラメータを、より高精度に、且つ自動的に導出することが可能となる。

更に、本発明による一態様の画質評価装置において、前記ニューラルネットワーク部は、本発明の学習装置における学習用ニューラルネットワーク部と同一の素子及び同一の接続によるニューラルネットワーク構造を有し、該学習装置によって演算された当該画質評価用ニューラルネットワークのパラメータを設定して、当該評価対象パッチに対する評価値を生成することを特徴とする。
これにより、当該学習装置によって事例に基づき最適化されたパラメータが画質評価装置内のニューラルネットワーク部に設定されるため、精度の高い画質評価を実現することが可能となる。

更に、本発明による一態様の画質評価装置は、本発明の学習装置を更に備え、前記ニューラルネットワーク部は、該学習装置における学習用ニューラルネットワーク部と同一の素子及び同一の接続によるニューラルネットワーク構造を有し、該学習装置によって演算された当該画質評価用ニューラルネットワークのパラメータを設定して、当該評価対象パッチに対する評価値を生成することを特徴とする。
これにより、当該学習装置にて事例に基づきパラメータを最適化する学習機能と、該パラメータを用いて画質評価対象の入力画像に対する画質評価機能とを備え持つ画質評価装置を構成することができる。この場合も、当該学習装置によって事例に基づき最適化されたパラメータが画質評価装置内のニューラルネットワーク部に設定されるため、精度の高い画質評価を実現することが可能となる。

更に、本発明のプログラムは、コンピュータを、本発明の画質評価装置として機能させるためのプログラムとして構成されている。

本発明によれば、参照用の原画像を用いることなく、客観的な画質評価値を高精度に得ることを可能となる。

本発明による一実施形態の画質評価装置の概略構成を例示するブロック図である。 本発明による一実施形態の画質評価装置におけるニューラルネットワーク部の概略構成を例示するブロック図である。 本発明による第１実施形態の学習装置の概略構成を例示するブロック図である。 本発明に係る学習装置における同一画像（学習画像の画像パッチ）に対し異なる劣化を付与した複数の劣化画像パッチと、各劣化画像パッチの参照局部評価値とによって構成したミニバッチを例示する図である。 本発明による第２実施形態の学習装置の概略構成を例示するブロック図である。

以下、図面を参照して、本発明による一実施形態の画質評価装置１、及び各実施形態の学習装置２，３について順に説明する。

〔画質評価装置〕
図１は、本発明による一実施形態に係る画質評価装置１の概略構成を例示するブロック図である。画像評価装置１は、入力画像（評価対象画像）Ｉの全体画質を評価し、その結果を画質評価値として外部に出力する。また、画像評価装置１は、必要に応じて外部指示に基づき入力画像（評価対象画像）Ｉの局所画質を評価し局部評価値分布として外部に出力する。画質評価装置１は、走査部１０、画像パッチ切り出し部２０、ニューラルネットワーク部３０、積算部４０、及び出力部３０Ａ，４０Ａを備える。

走査部１０は、画像パッチ切り出し部２０に入力される入力画像Ｉ（評価対象画像）の全体画質を評価時に、当該入力画像Ｉから部分画像（評価対象パッチＰ_ｉ）を切り出すための基準となる座標値を順次生成し画像パッチ切り出し部２０に出力する。

例えば、走査部１０は、入力画像Ｉから幅ｗ_ｘ画素、高さｗ_ｙ画素の部分画像を切り出すラスタ走査の要領で座標（０，０）から水平方向ｓ_ｘ、及び垂直方向ｓ_ｙの間隔で座標を生成する。一例として、入力画像Ｉの大きさが水平方向Ｃ_ｘ画素、及び垂直方向Ｃ_ｙの場合に、走査部１０はそのｉ番目の走査時点において、画像座標（ｐ（ｉ），ｑ（ｉ））を、次式（数１）により生成することができる。

画像パッチ切り出し部２０は、画像パッチ切り出し部２０に入力される入力画像Ｉ（評価対象画像）の全体画質の評価時には、走査部１０によって指定されるｉ番目の走査時点における画像座標（ｐ（ｉ），ｑ（ｉ））に基づいて、入力画像Ｉから部分画像（評価対象パッチＰ_ｉ）を切り出して、ニューラルネットワーク部３０に出力する。

尚、画像パッチ切り出し部２０は、入力画像（評価対象画像）Ｉの局所画質の評価時には、外部指示によって指定される画像座標（ｐ（ｉ），ｑ（ｉ））に基づいて、入力画像Ｉから部分画像（評価対象パッチＰ_ｉ）を切り出して、ニューラルネットワーク部３０に出力する。この局所画質の評価時の外部指示は走査部１０に対して行うものとしてもよい。

例えば、画像パッチ切り出し部２０は、次式（数２）により、走査部１０から指定される画像座標（ｐ（ｉ），ｑ（ｉ））を左上座標として、所定の大きさの矩形領域（例えば、水平方向ｓ_ｘ画素、垂直方向ｓ_ｙ画素の矩形領域）を評価対象パッチＰ_ｉとしてニューラルネットワーク部３０に出力する。

ニューラルネットワーク部３０は、評価対象パッチＰ_ｉを構成する画素値列を画像パッチ切り出し部２０からニューラルネットワークに入力し、評価対象パッチＰ_ｉの画質の推定値としての局部評価値をその出力端から出力部３０Ａ及び積算部４０に出力する。

例えば図２に示すように、ニューラルネットワーク部３０は、いわゆる畳み込みニューラルネットワークにより構成することができる。図２は、本発明による一実施形態の画質評価装置１におけるニューラルネットワーク部３０の概略構成を示すブロック図の一例である。

ニューラルネットワーク部３０を図２に例示する畳み込みニューラルネットワークにより構成した場合、ニューラルネットワーク部３０は、畳み込み層を１層以上含んで構成される（図示する例では、畳み込み層３２，３３，３５，３６，…の多重構造により構成される。）。また、ニューラルネットワーク部３０は、畳み込み層のほか、全結合層（図示する例では、全結合層３７，３８として例示する。）とプーリング層３４のうち一方又は両方を備えてもよいし、或る層の出力から１以上の層を飛び越えて別の層の入力へ結合するスキップレイヤ結合（図示略）を有しても構わない（所定のニューロン（素子）に直接入力してもよいし、隣接相関を結ぶ結合部分に加算するように結合してもよい。）。また、畳み込み層やプーリング層において空間方向の間引きを行っても構わない。

そして、ニューラルネットワーク部３０において、畳み込み層（図示する例では、畳み込み層３２，３３，３５，３６）及び全結合層（図示する例では、全結合層３７，３８）を構成する各素子への入力には重み係数が掛けられ、更に、必要に応じてバイアスが加えられる（本願明細書中、これら重み係数及びバイアスを総称して、「結合重み係数」と記す。）。また、本願明細書中、ニューラルネットワーク部３０に含まれる結合重み係数の総体を、以後「パラメータ」（図２に示すパラメータ３１）と称することとする。

パラメータ３１は、好適には、図３乃至図５を参照して後述する学習装置２，３に基づいて最適化されたパラメータを用いることとする。ニューラルネットワーク部３０において、パラメータ３１は、外部から書き込み可能としてもよいし、書き換え可能としてもよいし、読み出し専用としても構わない。パラメータ３１が読み出し専用の場合には、予め学習装置２，３等で導出したパラメータを畳み込み層や全結合層内の重み係数値やバイアス値として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に記憶させておく。パラメータ３１が書き換え可能の場合には、フラッシュメモリ等に予め導出したパラメータを記憶しておいてもよい。また、ニューラルネットワーク部３０において、パラメータ３１を記憶させずに単に入出力する構成としてもよい。また、この場合、初回使用前やバージョンアップ等の際に必要に応じてそのパラメータ３１の一部又は全部を更新するよう構成することもできる。パラメータ３１が書き込み可能であって、書き換え不可能な場合には、初回使用前までに学習装置２，３等で導出したものを設定するものとする。

従って、ニューラルネットワーク部３０は、画像パッチ切り出し部２０からの評価対象パッチＰ_ｉを構成する画素値列をニューラルネットワークに入力し、複数の畳み込み層の後に１層以上の全結合層を接続し、最初の畳み込み層には評価対象ブロックの２次元的な画素値列を入力し、最終の全結合層の出力に基づき評価対象パッチＰ_ｉの画質の推定値としての局部評価値を決定する。このとき、局部評価値は、当該ニューラルネットワークにおける最終の全結合層の１出力の値をそのまま用いてもよいし、これに線形又は非線形の関数を適用したものとしてもよい。或いは、最終の全結合層の複数の出力値に対して既定の線形変換又は非線形変換を行ってスカラー値に変換し、これを局部評価値としてもよい。

そして、画質評価装置１は、当該外部指示に基づきニューラルネットワーク部３０から出力される局部評価値を出力部３０Ａから局部評価値分布としてそのまま外部に出力することができる。この場合、画質評価装置１は、画面内の場所ごとの局部的な画質を、高精度且つ自動的に評価することが可能となる。

一方、入力画像Ｉ（評価対象画像）の全体画質を評価時には、画質評価装置１は、上述した操作部１０と共に設けられる積算部４０により、画面全体の評価値を画質評価値として出力部４０Ａから外部に出力することができる。

積算部４０は、ニューラルネットワーク部３０によってｉ番目の評価対象パッチＰ_ｉに対して算出された局部評価値Ｌ_ｉを積算し、該積算値に基づいて画面全体としての評価値としての画質評価値Ｅを導出し出力部４０Ａに出力する。

例えば、積算部４０は、次式（数３）により、評価対象パッチＰ_ｉの局部評価値Ｌ_ｉの相加平均値を以て画質評価値Ｅを定義することができる。

或いは、積算部４０は、次式（数４）により、ｉ番目の評価対象パッチの切り出し位置等に応じて、重みづけβ_ｉを乗じた平均値として画質評価値Ｅを定義してもよい。

更に、例えば、積算部４０は、次式（数５）により、任意の規定の関数ｆを用いて、画質評価値Ｅを定義してもよい。

ここで、上式（数５）における関数ｆの例として、次式（数６）のような対数を用いた関数などを用いることもできる。

更に、例えば、積算部４０は、次式（数７）により、複数の評価対象パッチＰ_ｉに関する任意の規定の関数ｆを用いて、画質評価値Ｅを定義してもよい。

そして、例えば、積算部４０は、以上の画質評価値Ｅの定義例を適宜組み合わせたものとすることもできる。

以上のように、本実施形態の画質評価装置１は、入力画像（評価対象画像）Ｉの全体画質を評価し、その結果を画質評価値として、及び必要に応じて外部指示に基づき入力画像（評価対象画像）Ｉの局所画質を評価し局部評価値分布として外部に出力する。これにより、入力画像の局所的な画質評価値を出力することや、入力画像の画像全体としての画質評価値を、高精度且つ自動的に導出することが可能となる。

〔学習装置〕
次に、上述した本実施形態の画質評価装置１におけるニューラルネットワーク部３０で用いるパラメータ３１を最適化するための学習装置２，３の各実施形態の構成について説明する。まず、図３を参照して、第１実施形態の学習装置２を説明する。

（第１実施形態の学習装置）
図３は、本発明による第１実施形態の学習装置２の概略構成を例示するブロック図である。学習装置２は、画像劣化部５０、切り出し座標値発生部５１、画像パッチ切り出し部５２、画像パッチ切り出し部５３、参照画質評価部５４、学習用ニューラルネットワーク部５５、及び減算部５６を備える。

画像劣化部５０は、入力された学習画像Ｔ（画像の大きさを水平方向ｃ_ｘ画素、垂直方向ｃ_ｙ画素とする）に対して、画素値レベルの改変、位置ずらし、変形、回転、拡大、縮小、シア、雑音（インパルス雑音、ガウス雑音、ショット雑音など）、歪（ぼやけ、ブロック歪、非可逆画像符号化・復号に起因する歪など）等の画像改変を施し、劣化画像Ｄとして画像パッチ切り出し部５３に出力する。

切り出し座標値発生部５１は、画像パッチ切り出し部５２に入力される学習画像Ｔ（原画像）から部分画像（原画像パッチＱ_ｉ）を切り出すための基準となる座標値を順次生成し画像パッチ切り出し部５２に出力し、且つこの座標値を画像パッチ切り出し部５３にも出力する。

切り出し座標値発生部５１の動作は、上述した画質評価装置１における走査部１０と同様の動作で画像座標値（ｕ（ｉ），ｖ（ｉ））を生成するものであっても構わないし、或いはランダムな画像座標値（ｕ（ｉ），ｖ（ｉ））を生成するものであっても構わない。

切り出し座標値発生部５１が、ｉ回目の動作時点において、ランダムな画像座標値（ｕ（ｉ），ｖ（ｉ））を生成する場合、例えば、ｕ（ｉ）は０以上ｃ_ｘ－Ｗ_ｘ以下の整数の一様乱数値（或いは一様乱数を模擬した疑似乱数発生器からの疑似乱数値）、また、ｖ（ｉ）は０以上ｃ_ｙ－Ｗ_ｙ以下の整数の一様乱数値（或いは一様乱数を模擬した疑似乱数発生器からの疑似乱数値）とすることができる。

画像パッチ切り出し部５２は、切り出し座標値発生部５１によって指定されるｉ番目の動作時点における画像座標（ｕ（ｉ），ｖ（ｉ））に基づいて、学習画像Ｔから部分画像（原画像パッチＱ_ｉ）を切り出して参照画質評価部５４に出力する。

例えば、画像パッチ切り出し部５２は、次式（数８）により、切り出し座標値発生部５１から指定される画像座標（ｕ（ｉ），ｖ（ｉ））を左上座標とする所定の大きさの矩形領域（例えば、水平方向ｓ_ｘ画素、垂直方向ｓ_ｙ画素の矩形領域）を原画像パッチＱ_ｉとして参照画質評価部５４に出力する。

画像パッチ切り出し部５３は、切り出し座標値発生部５１によって指定されるｉ番目の動作時点における画像座標（ｕ（ｉ），ｖ（ｉ））に基づいて、劣化画像Ｄから部分画像（劣化画像パッチＲ_ｉ）を切り出して、参照画質評価部５４及び学習用ニューラルネットワーク部５５に出力する。

例えば、画像パッチ切り出し部５３は、次式（数９）により、切り出し座標値発生部５１から指定される画像座標（ｕ（ｉ），ｖ（ｉ））を左上座標とする所定の大きさの矩形領域（例えば、水平方向ｓ_ｘ画素、垂直方向ｓ_ｙ画素の矩形領域）を原画像パッチＲ_ｉとして参照画質評価部５４及び学習用ニューラルネットワーク部５５に出力する。

参照画質評価部５４は、画像パッチ切り出し部５２からの原画像パッチＱ_ｉと、画像パッチ切り出し部５３からの劣化画像パッチＲ_ｉとに基づいて、劣化画像パッチＲ_ｉの画質を評価し、その結果を参照局部評価値Ｍ_ｉとして減算部５６に出力する。

参照局部評価値Ｍ_ｉは、例えば次式（数１０）により、二乗誤差和を用いて求めたものとすることができる。

或いは、参照局部評価値Ｍ_ｉは、例えば次式（数１１）により、平均二乗誤差和を用いて求めたものとすることができる。

学習用ニューラルネットワーク部５５は、上述した画質評価装置１のニューラルネットワーク部３０と同一構造（ネットワークの形状（素子の接続形態）、活性化関数の種類が同一）とする。ただし、学習用ニューラルネットワーク部５５は、パラメータについては可変とし、与えられる学習データによってパラメータ値が更新され得るものとする点で上述した画質評価装置１のニューラルネットワーク部３０とは相違する。

また、学習用ニューラルネットワーク部５５は、順伝播と逆伝播の二つの動作状態を交互に実行する点でも上述した画質評価装置１のニューラルネットワーク部３０とは相違する。

学習用ニューラルネットワーク部５５は、その動作の初期において、そのパラメータ値（結合重み係数値及びバイアス値）を所定の手続きにより初期化するものとする。この初期化は、例えば、すべて一定の値（例えば、０．１のバイアス値）で初期化してもよいし、乱数値（例えば、平均０、標準偏差０．１の正規分布（または切断正規分布）に従う乱数値またはその近似値による結合重み係数）であっても構わない。

学習用ニューラルネットワーク部５５は、その順伝播時において、画質評価装置１のニューラルネットワーク部３０と同様に動作し、入力された劣化画像パッチＲ_ｉに対して当該動作時点において設定されているパラメータ値に基づいて処理を行い、該劣化画像パッチＲ_ｉの局部評価値を算出し仮の局部評価値Ｊ_ｉとして減算部５６に出力する。

続いて、減算部５６は、当該仮の局部評価値Ｊ_ｉと参照局部評価値Ｍ_ｉとを入力し、当該仮の局部評価値Ｊ_ｉと参照局部評価値Ｍ_ｉの差分（本例では仮の局部評価値Ｊ_ｉから参照局部評価値Ｍ_ｉを減じた値とするが、参照局部評価値Ｍ_ｉから局部評価値Ｊ_ｉを減じた値としてもよい）を算出し、誤差値Δｉとして学習用ニューラルネットワーク部５５に出力する。

その後、学習用ニューラルネットワーク部５５は、その逆伝播動作を実行する。この逆伝播動作時に、学習用ニューラルネットワーク部５５は、減算部５６からの誤差値Δｉに基づき、そのネットワークの出力側から入力側に向かって誤差値を伝播しつつ、パラメータ値を修正していくことになる。

必要に応じて、学習用ニューラルネットワーク部５５は、学習装置２に入力する学習画像Ｔを変えて画像劣化部５０を実行しつつ、切り出し座標値発生部５１、画像パッチ切り出し部５２、画像パッチ切り出し部５３、及び参照画質評価部５４の動作を繰り返す（動作の繰り返しにより、該繰り返しの都度、インデックスｉを、例えば、１ずつ増ずるものとする）。そして、学習用ニューラルネットワーク部５５は、繰り返されてその都度得られる劣化画像パッチＲ_ｉと参照局部評価値Ｍ_ｉの対からなる学習データに基づいて、順伝播と逆伝播を行う。該繰り返しの回数（繰り返しの条件）は、所定の値（例えば、１００万回）であってもよいし、或いは減算部５６によって得られた誤差値が所定値以下（または所定値未満）になるまでであってもよいし、更には、前記誤差値の繰り返しによる変化量が所定の範囲になるまでであっても構わないし、以上の２以上の組み合わせによる基準を満たすまでであっても構わない。

学習用ニューラルネットワーク部５５は、当該繰り返しをその繰り返しの条件に達するまで実行した後、学習用ニューラルネットワーク部５５に設定されているパラメータを画質評価用のパラメータ３１（最適化パラメータ）として、上述した画質評価装置１のニューラルネットワーク部３０に出力する。

以上のように、本実施形態の学習装置２は、上述した本実施形態の画質評価装置１におけるニューラルネットワーク部３０で用いるパラメータ３１を最適化することができる。これにより、画質評価用ニューラルネットワークに設定すべき膨大なパラメータの最適値を、入力された学習画像と評価値の様々な対を事例として自動的に導出することが可能となる。

特に、学習装置２は、画質劣化の機序が数学的に規定されている場合において、該機序を画像劣化部５０として実装することにより、入力された様々な学習画像Ｔを事例として画質評価値を参照画質評価部５４で算出しつつ、劣化画像パッチＲ_ｉと該評価値の対からなる学習データに基づいて、学習用ニューラルネットワーク部５５に設定すべきパラメータの最適値を自動的に導出することが可能となる。一例として、非可逆の画像符号化方式に基づく画像符号化及び局部復号の縦続接続を画像劣化部５０に実装することができる。そして、学習装置２は、当該非可逆の画像符号化方式に基づく画像符号化／局部復号時に生じる画質劣化の態様に特化したパラメータ３１の最適値を導出することが可能となる。

（第２実施形態の学習装置）
図４は、図５を参照して後述する学習装置３における同一画像（学習画像Ｔの画像パッチＱ_ｉ）に対し異なる劣化を付与した複数の劣化画像パッチＲ_ｉと、各劣化画像パッチＲ_ｉの参照局部評価値Ｍ_ｉとによって構成したミニバッチを例示する図である。また、図５は、本発明による第２実施形態の学習装置３の概略構成を例示するブロック図である。

まず、上述した学習装置２のより好適な変形例として、順伝播及び逆伝播を実施する際、複数の劣化画像パッチと、劣化画像パッチＲ_ｉの各々に呼応する参照局部評価値Ｍ_ｉとを束ねて用いてミニバッチ学習を行う学習装置３とすることができる。

ここで、劣化画像パッチＲ_ｉと参照局部評価値Ｍ_ｉの複数の対をミニバッチと称することとする）。このとき、そのミニバッチに含まれる劣化画像パッチＲ_ｉは、同一の原画像パッチＱ_ｉに対して質と程度のいずれか一方、或いはその両者の異なる劣化を付加したものとすることができる。

図４は、図５を参照して後述する学習装置３における同一画像（学習画像Ｔの画像パッチＱ_ｉ）に対し異なる劣化を付与した複数の劣化画像パッチＲ_ｉと、各劣化画像パッチＲ_ｉの参照局部評価値Ｍ_ｉとによって構成したミニバッチを例示する図である。

図４に示す例では、原画像パッチＱ_ｉを異なる画質で劣化させた３個の要素からなる劣化画像パッチＲ_ｉと、劣化画像パッチ各要素の画質を表す３要素からなるベクトル量としての参照局部評価値Ｍ_ｉとによって構成される。

例えば、図４に示す例において、３個の要素からなる劣化画像パッチＲ_ｉは、ＭＰＥＧ－２の符号化処理に対応するよう劣化させたもの、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣの符号化処理に対応するよう劣化させたもの、Ｈ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣの符号化処理に対応するよう劣化させたもの等とすることができる。即ち、原画像パッチＱ_ｉについて異なる画質で劣化させた劣化画像パッチＲ_ｉを複数用意することで、原画像パッチＱ_ｉの特徴から大きく外れることなく、後述する学習装置３にて学習させることが可能となり、画質評価の精度を向上させることができる。

図５に示す学習装置３は、画像劣化部６０、切り出し座標値発生部５１、画像パッチ切り出し部５２、画像パッチ切り出し部６３、参照画質評価部６４、学習用ニューラルネットワーク部６５、及び減算部６６を備える。尚、図５において、図３に示すものと同様の構成要素には同一の参照番号を付している。

切り出し座標値発生部５１及び画像パッチ切り出し部５２については、図３に示す学習装置２おける切り出し座標値発生部５１及び画像パッチ切り出し部５２と同一の動作であるから、その説明を省略する。

画像劣化部６０は、入力された学習画像Ｔに対して、質と程度のいずれか一方、或いはその両者の異なるＫ種類（Ｋは２以上の整数）の画像劣化を適用し、複数の劣化画像Ｄ^（ｋ）（ｋは０以上、Ｋ－１以下の整数）を画像パッチ切り出し部６３に出力する。

画像パッチ切り出し部６３は、切り出し座標値発生部５１によって指定されるｉ番目の動作時点における画像座標（ｕ（ｉ），ｖ（ｉ））に基づいて、各劣化画像Ｄ^（ｋ）から部分画像（劣化画像パッチＲ_ｉ ^（ｋ））を切り出して参照画質評価部６４に出力する。

例えば、画像パッチ切り出し部６３は、次式（数１２）により、切り出し座標値発生部５１から指定される画像座標（ｕ（ｉ），ｖ（ｉ））を左上座標とする所定の大きさの矩形領域（例えば、水平方向ｓ_ｘ画素、垂直方向ｓ_ｙ画素の矩形領域）を原画像パッチＲ_ｉとして参照画質評価部６４に出力する。

参照画質評価部６４は、画像パッチ切り出し部５２からの原画像パッチＱ_ｉと、画像パッチ切り出し部６３からの劣化画像パッチＲ_ｉ ^（ｋ）とに基づいて、次式（数１３）により、劣化画像パッチＲ_ｉ ^（ｋ）の画質を評価した結果Ｍ_ｉ ^（ｋ）を異なる劣化のＫ種類Ｍ_ｉ ^（０）乃至Ｍ_ｉ ^{（Ｋ－１）}についてまとめたものを参照局部画質評価値Ｍ_ｉとして減算部６６に出力する。

参照局部画像評価値Ｍ_ｉを構成する成分Ｍ_ｉ ^（ｋ）は、例えば次式（数１４）により、二乗誤差和を用いて求めたものとすることができる。

或いは、参照局部評価値Ｍ_ｉを構成する成分Ｍ_ｉ ^（ｋ）は、例えば次式（数１５）により、平均二乗誤差和を用いて求めたものとすることができる。

学習用ニューラルネットワーク部６５は、その順伝播時に画質の異なるＫ個のパッチＲ_ｉ ^（０）乃至Ｒ_ｉ ^{（Ｋ－１）}からなる劣化画像パッチＲ_ｉを処理して、各々のパッチＲ_ｉ ^（ｋ）の仮の局部画質評価値Ｊ_ｉ ^（ｋ）を算出し、次式（数１６）により、Ｊ_ｉ ^（ｋ）をｋ＝０乃至ｋ＝Ｋ－１についてまとめた局部画質評価値Ｊ_ｉを減算部６６に出力する。

各パッチに対する学習用ニューラルネットワーク部６５の基本動作は、図３に示した学習用ニューラルネットワーク部５５の動作と同様である。

続いて、減算部６６は、仮の局部評価値Ｊ_ｉと参照局部評価値Ｍ_ｉとを入力し、当該仮の局部評価値Ｊ_ｉと参照局部評価値Ｍ_ｉの差分を算出し、誤差値Δｉとして出力する。尚、本例では、当該仮の局部評価値Ｊ_ｉと参照局部評価値Ｍ_ｉの差分を、仮の局部評価値Ｊ_ｉから参照局部評価値Ｍ_ｉを減じた値とするが、参照局部評価値Ｍ_ｉから局部評価値Ｊ_ｉを減じた値としてもよい。

尚、図３に示した減算部５６はスカラー同士の減算によりスカラー値の誤差値Δｉを出力するものであるのに対し、図５に示す減算部６６は、ベクトル値同士の減算によりベクトル値の誤差値Δｉを出力する点のみ動作が異なる。

その後、学習用ニューラルネットワーク部６５は、その逆伝播動作を実行する。この逆伝播動作時に、学習用ニューラルネットワーク部６５は、減算部６６からの誤差値Δｉに基づき、そのネットワークの出力側から入力側に向かって誤差値を伝播しつつ、パラメータ値を修正していくことになる。

必要に応じて、学習装置３に入力する学習画像Ｔを変えて画像劣化部６０を実行しつつ、切り出し座標値発生部５１、画像パッチ切り出し部５２、画像パッチ切り出し部６３、及び参照画質評価部６４の動作を繰り返す（該繰り返しの都度、インデックスｉを、例えば、１ずつ増ずるものとする）。そして、学習用ニューラルネットワーク部６５は、繰り返されてその都度得られる劣化画像パッチＲ_ｉと参照局部評価値Ｍ_ｉの対からなる学習データに基づいて、順伝播と逆伝播を行う。該繰り返しの回数（繰り返しの条件）は、所定の値（例えば、１００万回）であってもよいし、或いは減算部６６によって得られた誤差値が所定値以下（または所定値未満）になるまでであってもよいし、さらには、前記誤差値の繰り返しによる変化量が所定の範囲になるまでであっても構わないし、以上の２以上の組み合わせによる基準を満たすまでであっても構わない。

学習用ニューラルネットワーク部６５は、当該繰り返しをその繰り返しの条件に達するまで実行した後、学習用ニューラルネットワーク部６５に設定されているパラメータを画質評価用のパラメータ３１（最適化パラメータ）として、上述した画質評価装置１のニューラルネットワーク部３０に出力する。

以上のように、本実施形態の学習装置３は、上述した本実施形態の画質評価装置１におけるニューラルネットワーク部３０で用いるパラメータ３１を最適化することができる。これにより、当該ミニバッチは同一の絵柄（学習画像Ｔにおける原画像パッチＱ_ｉ）に異なる劣化を付与した場合の劣化画像パッチＲ_ｉとその評価値とを含むことから、学習用ニューラルネットワーク部６５はその評価値について絵柄よりも劣化形態に対する感受性が高まるよう学習を進行させることができる。その結果、当該画質評価装置１用のニューラルネットワーク部３０のパラメータについて劣化前の絵柄の影響を受けにくいものとした、より公平な評価を可能とし、より高精度に、且つ自動的に導出することが可能となる。

ここで、本発明に係る画質評価装置１において、ニューラルネットワーク部３０は、本発明に係る学習装置２（３）における学習用ニューラルネットワーク部５５（６５）と同一の素子及び同一の接続によるニューラルネットワーク構造を有している。このため、該学習装置２（３）によって演算された当該画質評価用ニューラルネットワークのパラメータ３１をニューラルネットワーク部３０に設定して、当該評価対象パッチＰ_ｉに対する評価値を生成することで、精度の高い画質評価を実現することできる。

特に、本発明に係る学習装置２（３）における学習用ニューラルネットワーク部５５（６５）の事例数を十分に多くすることでニューラルネットワークにおける個々のパラメータを手作業で設定した場合よりも画質評価の精度を向上することができる。また、当該事例を特定の絵柄（例えば、風景、人物、人工物、コンピュータグラフィクス、イラストなど）に限定すれば、当該絵柄に特化した高精度の画質評価を実現することも可能である。

更に、本発明による一態様の画質評価装置１は、本発明に係る学習装置２（３）を備えるように構成することで、当該学習装置２（３）にて事例に基づきパラメータを最適化する学習機能と、該パラメータを用いて画質評価対象の入力画像に対する画質評価機能とを備え持つ画質評価装置１を構成することができる。この場合も、当該学習装置２（３）によって事例に基づき最適化されたパラメータが画質評価装置１内のニューラルネットワーク部に設定されるため、精度の高い画質評価を実現することが可能となる。

上述した実施形態の例に関して、画質評価装置１、又は各学習装置２，３、或いは画質評価装置１と各学習装置２，３とを組み合わせて機能するコンピュータを構成し、これらの装置の各手段を機能させるためのプログラムを好適に用いることができる。具体的には、各手段を制御するための制御部をコンピュータ内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各手段を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピュータに、ＣＰＵによって該プログラムを実行させることにより、上述した各手段の有する機能を実現させることができる。更に、各手段の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピュータで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピュータに、各手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。また、上述した各手段をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

上述の各実施形態については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。従って、本発明は、上述の各実施形態によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明によれば、参照用の原画像を用いることなく、客観的な画質評価値を、高精度に得ることを可能となるので、画質評価を要する用途に有用である。

１ 画質評価装置
２ 学習装置
３ 学習装置
１０走査部
２０画像パッチ切り出し部
３０ニューラルネットワーク部
３０Ａ 出力部
４０積算部
４０Ａ 出力部
３１パラメータ
３２畳み込み層
３３畳み込み層
３４プーリング層
３５畳み込み層
３６畳み込み層
３７全結合層
３８全結合層
５０画像劣化部
５１切り出し座標値発生部
５２画像パッチ切り出し部
５３画像パッチ切り出し部
５４参照画質評価部
５５学習用ニューラルネットワーク部
５６減算部
６０画像劣化部
６３画像パッチ切り出し部
６４参照画質評価部
６５学習用ニューラルネットワーク部
６６減算部

Claims (7)

1. 入力画像の画質を評価する画質評価装置であって、
   前記入力画像から部分画像を評価対象パッチとして切り出す画像パッチ切り出し部と、
   前記評価対象パッチを構成する画素の画素値列を基に、畳み込み層を１層以上含んで構成されるニューラルネットワークの演算により該評価対象パッチに対する評価値を生成するニューラルネットワーク部と、
   前記ニューラルネットワーク部によって生成した評価値に基づいて、前記入力画像又は前記部分画像の評価値を出力する出力部と、
   前記評価対象パッチを切り出す位置を順次走査して生成する走査部と、
   前記ニューラルネットワーク部によって生成した評価値を前記走査部の走査に同期して積算する積算部と、を備え、
   前記出力部は、前記走査部が対象画像内における走査が完了した際に前記積算部により求められた積算値を、前記入力画像の評価値として出力することを特徴とする画質評価装置。
2. 予め用意された１以上の学習画像から、画質評価用ニューラルネットワークのパラメータを学習生成する学習装置であって、
   前記学習画像に対して画質劣化を与えて劣化画像を生成する画像劣化部と、
   前記学習画像及び前記劣化画像のそれぞれから同一位置及び大きさの部分領域をそれぞれ原画像パッチ及び劣化画像パッチとして切り出す画像パッチ切り出し部と、
   前記劣化画像パッチの画質を前記原画像パッチの画素値を参照しつつ定量化した評価値を生成する参照画質評価部と、
   前記劣化画像パッチと該評価値の対からなる学習データを基に、学習用ニューラルネットワークの演算により前記学習データの該劣化画像パッチの画素値列から推定評価値を算出し、且つ該推定評価値と該評価値との差分を示す誤差値を用いて前記学習用ニューラルネットワークの演算上の結合重み係数の総体からなるパラメータを更新することにより、当該更新した該パラメータを当該画質評価用ニューラルネットワークのパラメータとして学習生成する学習用ニューラルネットワーク部と、
   前記推定評価値と前記学習データの評価値との差分を演算して前記誤差値を生成する減算部と、
   を備えることを特徴とする学習装置。
3. 前記学習用ニューラルネットワーク部は、前記学習データの該劣化画像パッチの画素値列を前記学習用ニューラルネットワーク内順方向に伝播して評価値を推定することにより当該推定評価値を算出し、前記減算部により得られた当該誤差値を前記学習用ニューラルネットワーク内逆方向に伝播させて前記学習用ニューラルネットワークのパラメータを更新するようにして、前記１以上の学習画像の各々からそれぞれ得られる学習データが入力される都度、前記順方向の伝播、及び前記誤差値の逆方向の伝播により、前記学習用ニューラルネットワークのパラメータを更新し、前記１以上の学習画像に関する学習データの全て、若しくはその一部に対する前記学習用ニューラルネットワークのパラメータの更新を終えた時点を以て当該画質評価用ニューラルネットワークのパラメータとして学習生成することを特徴とする、請求項２に記載の学習装置。
4. 前記画像劣化部は、前記学習画像に対して程度又は質の異なる劣化を与えて複数の劣化画像を生成し、
   前記画像パッチ切り出し部は、前記学習画像及び前記複数の劣化画像のそれぞれから同一位置及び大きさの部分領域をそれぞれ原画像パッチ及び複数の劣化画像パッチとして切り出し、
   前記参照画質評価部は、該複数の劣化画像パッチの各画質をそれぞれ前記原画像パッチの画素値を参照しつつ定量化した評価値を含むミニバッチを生成し、
   前記学習用ニューラルネットワーク部は、該複数の劣化画像パッチと該ミニバッチを基に、前記学習用ニューラルネットワークの演算により前記学習データの該複数の劣化画像パッチの画素値列から推定評価値を算出し、且つ該推定評価値と該評価値との差分を示す誤差値を用いて前記学習用ニューラルネットワークの演算上の結合重み係数の総体からなるパラメータを更新することにより、当該更新した該パラメータを当該画質評価用ニューラルネットワークのパラメータとして学習生成することを特徴とする、請求項２又は３に記載の学習装置。
5. 前記ニューラルネットワーク部は、
   請求項２から４のいずれか一項に記載の学習装置における学習用ニューラルネットワーク部と同一の素子及び同一の接続によるニューラルネットワーク構造を有し、
   該学習装置によって演算された当該画質評価用ニューラルネットワークのパラメータを設定して、当該評価対象パッチに対する評価値を生成することを特徴とする、請求項１に記載の画質評価装置。
6. 請求項２から４のいずれか一項に記載の学習装置を更に備え、
   前記ニューラルネットワーク部は、該学習装置における学習用ニューラルネットワーク部と同一の素子及び同一の接続によるニューラルネットワーク構造を有し、
   該学習装置によって演算された当該画質評価用ニューラルネットワークのパラメータを設定して、当該評価対象パッチに対する評価値を生成することを特徴とする、請求項１に記載の画質評価装置。
7. コンピュータを、請求項５又は６に記載の画質評価装置として機能させるためのプログラム。

Images