JP6236906B2 - 評価装置、評価方法および評価プログラム - Google Patents

Description

本発明は、評価装置等に関する。

スマートフォンやタブレット等、映像を手軽に表示可能な機器の普及と、映像配信するためのネットワーク環境の充実に伴い、映像コンテンツを様々な形式で配信する機会が増えた。様々な機器向けに映像を配信する場合には、各機器に応じた形式に映像をトランスコードする。映像のトランスコードや配信の過程で、画質が劣化してしまったり配信時のエラー等で映像が壊れてしまう可能性があるため、映像を表示する前に品質チェックが行われる。

映像の品質をチェックする一つの方法は、配信される映像コンテンツ一つ一つを人間が目視で確認する方法であるが、膨大な人的コストと手間を要し、大量のコンテンツをチェックするには物理的な限界がある。そこで、映像品質を自動で評価し、人手による作業を大幅に削減する技術が望まれている。

映像品質を自動評価する方法として、劣化前の原映像と劣化した映像の全てを用いるＦＲ（Full Reference）法、２つの映像の特徴量を比較するＲＲ（Reduced Reference）法、劣化映像のみを用いるＮＲ（Non Reference）法の３つがある。ＦＲ法では映像の全情報を用いて評価するため、高精度な品質推定を行えるが、多くの処理時間がかかってしまうデメリットがある。

一方、ＲＲ法は映像の特徴量同士を比較するため、ＦＲ法よりも少ない処理時間で品質を推定できるが、その分ＦＲ法と比べて推定の精度は落ちる。ＮＲ法は劣化映像のみで評価するため処理時間は最も早いが、推定の精度も３つの手法の中で一般に最も悪いと言われている。

ここで、従来のＲＲ法について説明する。図１５は、従来のＲＲ法を説明するための図である。図１５に示す例では、特徴量生成部１０ａ，１０ｂ、演算部１１が含まれる。特徴量生成部１０ａは、原映像１ａを基にして、特徴量を生成し、特徴量を演算部１１に出力する。特徴量生成部１０ｂは、劣化映像１ｂを基にして、特徴量を生成し、特徴量を演算部１１に出力する。演算部１１は、特徴量生成部１０ａ，１０ｂから取得した各特徴量の差分を演算し、演算結果を評価値１ｃとして出力する。

続いて、ＲＲ法を用いた従来技術について説明する。従来技術は、映像中のエッジ量、時間方向の画像差分の統計量の変化を用いて映像品質を評価する。例えば、従来技術は、（１）画像のエッジ増減の度合い、（２）ブロックノイズ発生の強さの度合い、（３）時間方向の画像劣化の度合い、を表す３つの評価値を求める。

図１６は、ＲＲ法を用いた従来技術を説明するための図である。図１６に示す例では、特徴量生成部３０ａ，３０ｂと、演算部３０ｃを有する。特徴量生成部３０ａは、原映像１ａから、第１特徴量の分布、第２特徴量の分布、第３特徴量の分布を求める。特徴量生成部３０ａは、第１〜第３特徴量の分布からそれぞれ統計量を求め、各統計量を用いて、第１〜第３劣化特徴量を求める。特徴量生成部３０ａは、第１〜第３劣化特徴量を、演算部３０ｃに出力する。

特徴量生成部３０ｂは、劣化映像１ｂから、第１特徴量の分布、第２特徴量の分布、第３特徴量の分布を求める。特徴量生成部３０ｂは、第１〜第３特徴量の分布からそれぞれ統計量を求め、各統計量を用いて、第１〜第３劣化特徴量を求める。特徴量生成部３０ｂは、第１〜第３劣化特徴量を、演算部３０ｃに出力する。

演算部３０ｃは、特徴量生成部３０ａから取得する第１〜第３劣化特徴量と、特徴量生成部３０ｂから取得する第１〜第３劣化特徴量とを基にして、各評価値２ａ〜２ｃを演算する。演算部３０ｃは、特徴量生成部３０ａ，３０ｂから取得した第１劣化特徴量を基にして、評価値２ａを演算する。演算部３０ｃは、特徴量生成部３０ａ，３０ｂから取得した第２劣化特徴量を基にして、評価値２ｂを演算する。演算部３０ｃは、特徴量生成部３０ａ，３０ｂから取得した第３劣化特徴量を基にして、評価値２ｃを算出する。例えば、評価値２ａが、画像のエッジ増減の度合いを表す評価値であり、評価値２ｂが、ブロックノイズ発生の強さの度合いを表す評価値であり、評価値２ｃが、時間方向の画像劣化の度合いを表す評価値である。

特開平６−１３３１７６号公報 特開平６−２３３０１３号公報 国際公開第２００９／１３３８８４号 特許第２７９５１４７号公報

しかしながら、上述した従来技術では、所望の品質パラメータで評価することが出来ないという問題がある。

図１６を用いて説明した従来技術は、各特徴量の一次元分布に基づく統計量を用いて、劣化特徴量を算出する。各劣化特徴量は、特徴量の分布毎に独立して求められる。図１７は、従来技術を説明するための図である。図１７に示す例では、第１，２特徴量の一次元分布に基づいて、第１、第２劣化特徴量を算出し、第１、第２劣化特徴量から、評価値を算出している。

このため、各特徴量の分布のみでは検出できない劣化要因を検出する場合には、劣化を検出可能な特徴量と統計量を新たに追加して、劣化要因を検出するための劣化特徴量を再度算出することになり、処理が冗長かつ煩雑なものとなる。

例えば、「（１）画像のエッジ増減の度合い」の劣化要因に関して、エッジの増減を更に詳しく「ノイズ発生」と「コントラスト強調」とを分けて検出したい場合には、エッジ量や時間差分以外の新たな特徴量を再度計算し、統計量を再度計算することになる。

１つの側面では、所望の品質パラメータで評価することが出来る評価装置、評価方法および評価プログラムを提供することを目的とする。

第１の案では、評価装置は、第一算出部と、第二算出部と、評価部とを有する。第一算出部は、第一画像に対して一階差分を算出することで第一特徴量を算出し、第一画像に対して二階差分を算出することで第二特徴量を算出する。第二算出部は、第二画像に対して一階差分を算出することで第一特徴量を算出し、第二画像に対して二階差分を算出することで第二特徴量を算出する。評価部は、第一画像から算出された第一特徴量および第二特徴量の関係を示す第一同時分布と、第二画像から算出された第一特徴量および第二特徴量の関係を示す第二同時分布とを基にして、第一画像に対する第二画像の劣化を評価する。

本発明の１実施態様によれば、所望の品質パラメータで評価することができる。

図１は、本実施例１に係る評価装置の構成を示す機能ブロック図である。 図２は、一階差分の絶対値および二階差分の絶対値と画像パターンの関係を示す図である。 図３は、基本特徴量の同時分布におけるノイズ、ブロックノイズ、ぼけの関係を示す図である。 図４は、基本特徴量の同時分布におけるコントラスト強調、コントラスト抑制の関係を示す図である。 図５は、ぼけに関する劣化特徴量を生成する処理手順を示すフローチャートである。 図６は、本実施例２に係る評価装置の構成を示す機能ブロック図である。 図７は、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を生成する処理手順を示すフローチャートである。 図８は、本実施例３に係る評価装置の構成を示す機能ブロック図である。 図９は、ぼけおよびノイズに関する劣化特徴量を生成する処理手順を示すフローチャートである。 図１０は、本実施例４に係る評価装置の構成を示す機能ブロック図である。 図１１は、コントラスト強調またはコントラスト抑制に関する劣化特徴量を生成する処理手順を示すフローチャートである。 図１２は、本実施例５に係る評価装置の構成を示す機能ブロック図である。 図１３は、時間方向を考慮してぼけ、ブロックノイズ、ノイズに関する劣化特徴量を生成する処理手順を示すフローチャートである。 図１４は、評価プログラムを実行するコンピュータの一例を示す図である。 図１５は、従来のＲＲ法を説明するための図である。 図１６は、ＲＲ法を用いた従来技術を説明するための図である。 図１７は、従来技術を説明するための図である。

以下に、本願の開示する評価装置、評価方法および評価プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例１に係る評価装置について説明する。図１は、本実施例１に係る評価装置の構成を示す機能ブロック図である。図１に示すように、この評価装置１００は、通信部１０５、入力部１１０、表示部１２０、記憶部１３０、制御部１４０を有する。

通信部１０５は、ネットワーク等を介して他の外部装置と通信を行う通信装置である。例えば、評価装置１００は、通信部１０５を介して、他の装置から原映像データ１３１、劣化映像データ１３２を取得しても良い。

入力部１１０は、各種の情報を入力する入力装置である。例えば、キーボードやマウス、タッチパネル等に対応する。表示部１２０は、制御部１４０から出力される情報を表示する表示装置である。例えば、表示部１２０は、モニタや液晶ディスプレイ等に対応する。

記憶部１３０は、原映像データ１３１および劣化映像データ１３２を含む。記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などの記憶装置に対応する。

原映像データ１３１は、トランスコード前の映像データである。劣化映像データ１３２は、原映像データ１３１がトランスコードされた映像データである。

制御部１４０は、第一算出部１４１、第二算出部１４２、評価部１４３を有する。制御部１４０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１４０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

第一算出部１４１は、原映像データ１３１に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、原映像データ１３１の基本特徴量を算出する処理部である。第一算出部１４１は、原映像データ１３１の基本特徴量の情報を、評価部１４３に出力する。

第二算出部１４２は、劣化映像データ１３２に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、劣化映像データ１３２の基本特徴量を算出する処理部である。第二算出部１４２は、劣化映像データ１３２の基本特徴量の情報を、評価部１４３に出力する。

評価部１４３は、原映像データ１３１の基本特徴量と、劣化映像データ１３２の基本特徴量とを基にして、原映像データ１３１に対する劣化映像データ１３２の劣化を評価する処理部である。実施例１の評価部１４３は、一例として、画像のぼけに関して、評価を行う。

次に、第一算出部１４１の処理について説明する。ここで、原映像データ１３１のｎフレーム目の画像の位置（ｘ，ｙ）における映像の画素値をＦ（ｎ，ｘ，ｙ）として、同位置における水平方向および垂直方向の空間差分の一階差分の絶対値をそれぞれＤｈ（ｎ，ｘ，ｙ）、Ｄｖ（ｎ，ｘ，ｙ）として、式（１）、（２）を定義する。

第一算出部１４１は、式（１）、（２）に基づいて、Ｄｈ（ｎ，ｘ，ｙ）およびＤｖ（ｎ，ｘ，ｙ）を算出する。第一算出部１４１は、原映像データ１３１の各フレームの画像の画素毎に、Ｄｈ（ｎ，ｘ，ｙ）およびＤｖ（ｎ，ｘ，ｙ）を算出する。この原映像データ１３１から算出されるＤｈ（ｎ，ｘ，ｙ）およびＤｖ（ｎ，ｘ，ｙ）は、第一特徴量に対応する。以下の説明では適宜、Ｄｈ（ｎ，ｘ，ｙ）をＤｈと表記し、Ｄｖ（ｎ，ｘ，ｙ）をＤｖと表記する。

また、原映像データ１３１のｎフレーム目の画像の位置（ｘ，ｙ）における映像の画素値をＦ（ｎ，ｘ，ｙ）として、同位置における水平方向および垂直方向の空間差分の二階差分の絶対値をそれぞれＥｈ（ｎ，ｘ，ｙ）、Ｅｖ（ｎ，ｘ，ｙ）として、式（３）、（４）を定義する。

第一算出部１４１は、式（３）、（４）に基づいて、Ｅｈ（ｎ，ｘ，ｙ）、Ｅｖ（ｎ，ｘ，ｙ）を算出する。第一算出部１４１は、原映像データ１３１の各フレームの画像の画素毎に、Ｅｈ（ｎ，ｘ，ｙ）およびＥｖ（ｎ，ｘ，ｙ）を算出する。この原映像データ１３１から算出されるＥｈ（ｎ，ｘ，ｙ）およびＥｖ（ｎ，ｘ，ｙ）は、第一特徴量に対応する。以下の説明では適宜、Ｅｈ（ｎ，ｘ，ｙ）をＥｈと表記し、Ｅｖ（ｎ，ｘ，ｙ）をＥｖと表記する。

第一算出部１４１は、原映像データ１３１から算出した（Ｄｈ，Ｅｈ）および（Ｄｖ，Ｅｖ）の情報を、評価部１４３に出力する。（Ｄｈ，Ｅｈ）および（Ｄｖ，Ｅｖ）の情報は、原映像データ１３１の基本特徴量の情報に対応する。

第二算出部１４２の処理は、算出対象が劣化映像データ１３２となるだけで、処理内容は、第一算出部１４１の処理と同様である。このため、第二算出部１４２の具体的な説明は省略する。第二算出部１４２は、劣化映像データ１３２から算出した（Ｄｈ，Ｅｈ）および（Ｄｖ，Ｅｖ）の情報を、評価部１４３に出力する。（Ｄｈ，Ｅｈ）および（Ｄｖ，Ｅｖ）の情報は、劣化映像データ１３２の基本特徴量の情報に対応する。

ここで、（Ｄｈ，Ｅｈ）および（Ｄｖ，Ｅｖ）を二次元平面上に配置すると、（ｎ，ｘ，ｙ）の画素と左および右の画素との三画素からなる画像パターンの関係は、図２に示すものとなる。（ｎ，ｘ，ｙ）の画素と上および下の画素との三画素からなる画像パターンの関係も同様である。図２は、一階差分の絶対値および二階差分の絶対値と画像パターンの関係を示す図である。図２において、横軸は、一階差分の絶対値ＤｈまたはＤｖに対応する。縦軸は、二階差分の絶対値ＥｈまたはＥｖに対応する。本実施例では一例として、図２に示したように、（Ｄｈ，Ｅｈ）および（Ｄｖ，Ｅｖ）を二次元平面上に配置したものを、特徴量の同時分布と呼ぶ。

図２では簡単のため、「ＤｈとＥｈとの関係」および「ＤｖとＥｖとの関係」をまとめて、「ＤとＥとの関係」と表記する。ＤとＥとの関係により特定されるグラフ上の位置が、図２の線分３ａ上に存在するのか、線分３ａ上側の領域３ｂに存在するのか、線分３ａ下側の領域３ｃに存在するのかにより、画像パターンが異なる。線分３ａは、Ｅ＝Ｄを示す直線である。

ＤとＥとの関係が「Ｅ＞Ｄ」となる場合には、領域３ｂに含まれることになる。ＤとＥとの関係が「Ｅ＞Ｄ」となる場合には、画像パターンは、４ｂに示すように、真ん中の画素が極値となるような「鋭角型のパターン」となる。ＤとＥとの関係が「Ｅ＝Ｄ」となる場合には、画像パターンは、４ａに示すように、左右のうち何れかの画素値が真ん中の画素値と同じになる「直角型のパターン」となる。ＤとＥとの関係が「Ｅ＜Ｄ」となる場合には、画像パターンは、４ｃに示すように、３画素の画素値が単調減少または単調増加する「鈍角型のパターン」となる。

評価部１４３は、原映像データ１３１および劣化映像データ１３２とで、ＤとＥとの同時分布の変化を調べることで、劣化要因毎の劣化度合いを示す評価値を求めることができる。例えば、劣化映像データ１３２にブロックノイズが発生すると不自然な段差のある箇所が増える。従って、劣化映像データ１３２の基本特徴量の同時分布において、直角型のパターンの度数が増える。

また、劣化映像データ１３２にノイズが発生すると映像中に画素値がぎざぎざに変化する箇所が増え、鋭角型のパターンが増加する。ノイズには、ランダムノイズやモスキートノイズが含まれる。また、劣化映像データ１３２の映像がぼやけると画像値変化がなだらかとなり、鈍角のパターンが増加する。

基本特徴量の同時分布において、各領域と関係する劣化要因の一例について説明する。図３は、基本特徴量の同時分布におけるノイズ、ブロックノイズ、ぼけの関係を示す図である。図３の横軸は、一階差分の絶対値Ｄに対応する。縦軸は、二階差分の絶対値Ｅに対応する。ＤとＥとの関係が、領域５ａに含まれる場合には、ブロックノイズの発生を示す。ＤとＥとの関係が、領域５ｂに含まれる場合には、ノイズの発生を示す。ＤとＥとの関係が、領域５ｃに含まれる場合には、ぼけの発生を示す。

図４は、基本特徴量の同時分布におけるコントラスト強調、コントラスト抑制の関係を示す図である。図４の横軸は、一階差分の絶対値Ｄに対応する。縦軸は、二階差分の絶対値Ｅに対応する。ＤとＥとの関係が、領域６ａに含まれる場合には、コントラストの強調を示す。ＤとＥとの関係が、領域６ｂに含まれる場合には、コントラストの抑制を示す。例えば、コントラストが強調される映像の場合、各画素位置の一階差分と二階差分の両方が大きくなるため、基本特徴量の同時分布は右上に移動する。これに対して、コントラストが抑制される映像の場合、各画素位置の一階差分と二階差分の両方が小さくなるため、基本特徴量の同時分布は左下に移動する。

次に、評価部１４３の処理について説明する。実施例１の評価部１４３は、ぼけの劣化特徴量を算出し、ぼけに関する評価値を算出する。

評価部１４３が、原映像データ１３１の劣化特徴量を算出する場合について説明する。評価部１４３は、第一算出部１４１から原映像データ１３１の基本特徴量を取得し、基本特徴量の同時分布が、図３のぼけの領域５ｃに含まれるか否かを判定する。評価部１４３は、画素毎に、基本特徴量の同時分布が、領域５ｃに含まれるか否かを判定し、領域５ｃに含まれると判定する度に、劣化特徴量ＦＯ_１に、所定値を加算する。劣化特徴量ＦＯ_１は、原映像データ１３１のぼけの劣化特徴量を示す。

ぼけ領域は、対象となる画素の周囲三画素からなる画像パターンが鈍角型のパターンとなる領域に対応する。ぼけ領域となる二次元座標（Ｄ，Ｅ）の集合をＢＬとすると、ＢＬは、式（５）または式（６）によって表される。式（５）に含まれるＣ_１は定数である。式（６）に含まれるＣ_２は、定数である。

続いて、評価部１４３が、劣化映像データ１３２の劣化特徴量を算出する場合について説明する。評価部１４３は、第二算出部１４２から劣化映像データ１３２の基本特徴量を取得し、基本特徴量の同時分布が、図３のぼけの領域５ｃに含まれるか否かを判定する。評価部１４３は、画素毎に、基本特徴量の同時分布が、領域５ｃに含まれるか否かを判定し、領域５ｃに含まれると判定する度に、劣化特徴量ＦＤ_１に、所定値を加算する。劣化特徴量ＦＤ_１は、劣化映像データ１３２のぼけの劣化特徴量を示す。

評価部１４３は、劣化特徴量ＦＤ_１から劣化特徴量ＦＯ_１を減算することで、評価値Ｖ_１を算出する。この評価値Ｖ_１は、ぼけに関する評価値である。評価値Ｖ_１の値が正でかつ、大きいほど、劣化の度合いが大きいことを示す。

次に、本実施例１に係る評価装置１００の処理手順について説明する。図５は、ぼけに関する劣化特徴量を生成する処理手順を示すフローチャートである。なお、原映像データ１３１、劣化映像データ１３２から劣化特徴量を生成する処理は共通である。

図５に示すように、評価装置１００は、統計量の初期化処理を行う（ステップＳ１０１）。ステップＳ１０１で、評価装置１００は、統計量Ｓ_１の値を０に設定する。評価装置１００は、全画素で処理が完了したか否かを判定する（ステップＳ１０２）。評価装置１００は、全画素で処理が完了した場合には（ステップＳ１０２，Ｙｅｓ）、劣化特徴量の生成処理を行う（ステップＳ１０３）。ステップＳ１０３で、評価装置１００は、劣化特徴量Ｆ_１の値を、Ｓ_１の値に設定する。

一方、評価装置１００は、全画素で処理が完了していない場合には（ステップＳ１０２，Ｎｏ）、一階差分の絶対値Ｄｈ、Ｄｖを生成する（ステップＳ１０４）。評価装置１００は、二階差分の絶対値Ｅｈ、Ｅｖを生成する（ステップＳ１０５）。

評価装置１００は、（Ｄｈ，Ｅｈ）の位置がぼけ領域に含まれるか否かを判定する（ステップＳ１０６）。評価装置１００は、（Ｄｈ，Ｅｈ）の位置がぼけ領域に含まれない場合には（ステップＳ１０６，Ｎｏ）、ステップＳ１０８に移行する。

一方、評価装置１００は、（Ｄｈ，Ｅｈ）の位置がぼけ領域に含まれる場合には（ステップＳ１０６，Ｙｅｓ）、Ｓ_１の値とＤｈの値とを加算した値を、Ｓ_１に格納することで、Ｓ_１の値を更新する（ステップＳ１０７）。

評価装置１００は、（Ｄｖ，Ｅｖ）の位置がぼけ領域に含まれるか否かを判定する（ステップＳ１０８）。評価装置１００は、（Ｄｖ，Ｅｖ）の位置がぼけ領域に含まれない場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１１０に移行する。

一方、評価装置１００は、（Ｄｖ，Ｅｖ）の位置がぼけ領域に含まれる場合には（ステップＳ１０８，Ｙｅｓ）、Ｓ_１の値とＤｖの値とを加算した値を、Ｓ_１に格納することで、Ｓ_１の値を更新する（ステップＳ１０９）。評価装置１００は、次の画素に移行し（ステップＳ１１０）、ステップＳ１０２に移行する。

評価装置１００は、原映像データ１３１に対して、図５の処理を実行することで、原映像データ１３１の劣化特徴量ＦＯ_１を算出する。評価装置１００は、劣化映像データ１３２に対して、図５の処理を実行することで、劣化映像データ１３２の劣化特徴量ＦＤ_１を算出する。そして、評価装置１００は、劣化特徴量ＦＤ_１から劣化特徴量ＦＯ_１を減算することで、評価値Ｖ_１を算出する。

次に、本実施例１に係る評価装置１００の効果について説明する。評価装置１００は、原映像データ１３１および劣化映像データ１３２からそれぞれ基本特徴量を計算する。評価装置１００は、原映像データ１３１の基本特徴量を基にして、同時分布の領域がぼけ領域に含まれるか否かを判定し、判定結果に応じて、劣化特徴量ＦＯ_１を算出する。評価装置１００は、劣化映像データ１３２の基本特徴量を基にして、同時分布の領域がぼけ領域に含まれるか否かを判定し、判定結果に応じて、劣化特徴量ＦＤ_１を算出する。そして、評価装置１００は、劣化特徴量ＦＯ_１と劣化特徴量ＦＤ_１とを基にして、評価値Ｖ_１を算出する。このように、評価装置１００は、劣化映像データ１３２および原映像データ１３１の同時分布を用いることで、ぼけをパラメータとした評価値を算出することができる。

本実施例２に係る評価装置について説明する。図６は、本実施例２に係る評価装置の構成を示す機能ブロック図である。一例として、本実施例２に係る評価装置は、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を算出し、評価する。

図６に示すように、この評価装置２００は、通信部１０５、入力部１１０、表示部１２０、記憶部１３０、制御部２４０を有する。通信部１０５、入力部１１０、表示部１２０、記憶部１３０に関する説明は、図１に示したものと同様であるため、ここでは説明を省略する。

制御部２４０は、第一算出部１４１、第二算出部１４２、評価部２４３を有する。

第一算出部１４１は、図１の第一算出部１４１と同様にして、原映像データ１３１に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、原映像データ１３１の基本特徴量を算出する処理部である。第一算出部１４１は、原映像データ１３１の基本特徴量の情報を、評価部２４３に出力する。

第二算出部１４２は、図１の第二算出部１４２と同様にして、劣化映像データ１３２に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、劣化映像データ１３２の基本特徴量を算出する処理部である。第二算出部１４２は、劣化映像データ１３１の基本特徴量の情報を、評価部２４３に出力する。

評価部２４３は、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を算出し、ぼけ、ブロックノイズ、ノイズに関する評価値を算出する。このうち、ぼけに関する劣化特徴量ＦＯ_１、ＦＤ_１を算出する説明および評価値Ｖ_１を算出する処理は、実施例１の評価部１４３の説明と同様であるため、ここでは説明を省略する。

評価部２４３が、原映像データ１３１のブロックノイズの劣化特徴量ＦＯ_２を算出する場合について説明する。評価部２４３は、第一算出部１４１から原映像データ１３１の基本特徴量を取得し、基本特徴量の同時分布が、図３のブロックノイズの領域５ａに含まれるか否かを判定する。評価部２４３は、画素毎に、基本特徴量の同時分布が、領域５ａに含まれるか否かを判定し、領域５ａに含まれると判定する度に、劣化特徴量ＦＯ_２に、所定値を加算する。

例えば、ブロックノイズの領域は、対象となる画素の周辺三画素からなる画像パターンが直角型のパターンとなる領域に対応する。ブロックノイズ領域となる二次元座標（Ｄ，Ｅ）の集合をＢＮとすると、ＢＮは、式（７）または式（８）によって表される。式（７）に含まれるＣ_１は定数である。式（８）に含まれるＣ_２は、定数である。

評価部２４３が、劣化映像データ１３２のブロックノイズの劣化特徴量ＦＤ_２を算出する場合について説明する。評価部２４３は、第二算出部１４１から劣化映像データ１３２の基本特徴量を取得し、基本特徴量の同時分布が、図３のブロックノイズの領域５ａに含まれるか否かを判定する。評価部２４３は、画素毎に、基本特徴量の同時分布が、領域５ａに含まれるか否かを判定し、領域５ａに含まれると判定する度に、劣化特徴量ＦＤ_２に、所定値を加算する。

評価部２４３は、劣化特徴量ＦＤ_２から劣化特徴量ＦＯ_２を減算することで、ブロックノイズの評価値Ｖ_２を算出する。評価値Ｖ_２の値が正でかつ、大きいほど、ブロックノイズに関して、劣化の度合いが大きいことを示す。

続いて、評価部２４３が、原映像データ１３１のノイズの劣化特徴量ＦＯ_３を算出する場合について説明する。評価部２４３は、第一算出部１４１から原映像データ１３１の基本特徴量を取得し、基本特徴量の同時分布が、図３のノイズの領域５ｂに含まれるか否かを判定する。評価部２４３は、画素毎に、基本特徴量の同時分布が、領域５ｂに含まれるか否かを判定し、領域５ｂに含まれると判定する度に、劣化特徴量ＦＯ_３に、所定値を加算する。

例えば、ノイズの領域は、対象となる画素の周辺三画素からなる画像パターンが鋭角型のパターンとなる領域に対応する。ノイズ領域となる二次元座標（Ｄ，Ｅ）の集合をＮＳとすると、ＮＳは、式（９）または式（１０）によって表される。式（９）に含まれるＣ_１は定数である。式（１０）に含まれるＣ_２は、定数である。

評価部２４３が、劣化映像データ１３２のノイズの劣化特徴量ＦＤ_３を算出する場合について説明する。評価部２４３は、第二算出部１４２から劣化映像データ１３２の基本特徴量を取得し、基本特徴量の同時分布が、図３のノイズの領域５ｂに含まれるか否かを判定する。評価部２４３は、画素毎に、基本特徴量の同時分布が、領域５ｂに含まれるか否かを判定し、領域５ｂに含まれると判定する度に、劣化特徴量ＦＤ_３に、所定値を加算する。

評価部２４３は、劣化特徴量ＦＤ_１から劣化特徴量ＦＯ_１を減算することで、ぼけの評価値Ｖ_１を算出する。評価部２４３は、劣化特徴量ＦＤ_２から劣化特徴量ＦＯ_２を減算することで、ブロックノイズの評価値Ｖ_２を算出する。評価部２４３は、劣化特徴量ＦＤ_３から劣化特徴量ＦＯ_３を減算することで、ノイズの評価値Ｖ_３を算出する。評価値Ｖ_１〜Ｖ_３の値が正でかつ、大きいほど、ぼけ、ブロックノイズ、ノイズに関して、それぞれ劣化の度合いが大きいことを示す。

次に、本実施例２に係る評価装置２００の処理手順について説明する。図７は、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を生成する処理手順を示すフローチャートである。なお、原映像データ１３１、劣化映像データ１３２から各劣化特徴量を生成する処理は共通である。

図７に示すように、評価装置２００は、統計量の初期化を行う（ステップＳ２０１）。ステップＳ２０１で、評価装置２００は、統計量Ｓ_１、Ｓ_２、Ｓ_３の値を０に設定する。評価装置２００は、全画素で処理が終了したか否かを判定する（ステップＳ２０２）。評価装置２００は、全画素で処理が完了した場合には（ステップＳ２０２，Ｙｅｓ）、劣化特徴量の生成処理を行う（ステップＳ２０３）。ステップＳ２０３で、評価装置２００は、劣化特徴量Ｆ_１の値を、Ｓ_１の値に設定する。評価装置２００は、劣化特徴量Ｆ_２の値を、Ｓ_２に設定する。評価装置２００は、劣化特徴量Ｆ_３の値を、Ｓ_３に設定する。

一方、評価装置２００は、全画素で処理が完了していない場合には（ステップＳ２０２，Ｎｏ）、一階差分の絶対値Ｄｈ、Ｄｖを生成する（ステップＳ２０４）。評価装置２００は、二階差分の絶対値Ｅｈ、Ｅｖを生成する（ステップＳ２０５）。

評価装置２００は、統計量Ｓ_１を更新する（ステップＳ２０６）。ステップＳ２０６において、評価装置２００は、（Ｄｈ，Ｅｈ）の位置がぼけ領域に含まれる場合には、Ｓ_１の値とＤｈの値とを加算した値を、Ｓ_１に格納することで、Ｓ_１の値を更新する。その後、評価装置２００は、（Ｄｖ，Ｅｖ）の位置がぼけ領域に含まれる場合には、Ｓ_１の値とＤｖの値とを加算した値を、Ｓ_１に格納することで、Ｓ_１の値を更新する。

評価装置２００は、統計量Ｓ_２を更新する（ステップＳ２０７）。ステップＳ２０７において、評価装置２００は、（Ｄｈ，Ｅｈ）の位置がブロックノイズ領域に含まれる場合には、Ｓ_２の値とＤｈの値とを加算した値を、Ｓ_２に格納することで、Ｓ_２の値を更新する。その後、評価装置２００は、（Ｄｖ，Ｅｖ）の位置がブロックノイズ領域に含まれる場合には、Ｓ_２の値とＤｖの値とを加算した値を、Ｓ_２に格納することで、Ｓ_２の値を更新する。

評価装置２００は、統計量Ｓ_３を更新する（ステップＳ２０８）。ステップＳ２０８において、評価装置２００は、（Ｄｈ，Ｅｈ）の位置がノイズ領域に含まれる場合には、Ｓ_３の値とＤｈの値とを加算した値を、Ｓ_３に格納することで、Ｓ_３の値を更新する。その後、評価装置２００は、（Ｄｖ，Ｅｖ）の位置がノイズ領域に含まれる場合には、Ｓ_３の値とＤｖの値とを加算した値を、Ｓ_３に格納することで、Ｓ_３の値を更新する。

評価装置２００は、次の画素に移行し（ステップＳ２０９）、ステップＳ２０２に移行する。

評価装置２００は、原映像データ１３１に対して、図７の処理を実行することで、原映像データ１３１の劣化特徴量ＦＯ_１，ＦＯ_２，ＦＯ_３をそれぞれ算出する。評価装置２００は、劣化映像データ１３２に対して、図７の処理を実行することで、劣化映像データ１３２の劣化特徴量ＦＤ_１，ＦＤ_２，ＦＤ_３をそれぞれ算出する。そして、評価装置２００は、劣化特徴量ＦＤ_１から劣化特徴量ＦＯ_１を減算することで、評価値Ｖ_１を算出する。評価装置２００は、劣化特徴量ＦＤ_２から劣化特徴量ＦＯ_２を減算することで、評価値Ｖ_２を算出する。評価装置２００は、劣化特徴量ＦＤ_３から劣化特徴量ＦＯ_３を減算することで、評価値Ｖ_３を算出する。

次に、本実施例２に係る評価装置２００の効果について説明する。評価装置２００は、原映像データ１３１および劣化映像データ１３２からそれぞれ基本特徴量を計算する。評価装置２００は、原映像データ１３１の基本特徴量を基にして、同時分布の領域が該当領域に含まれるか否かを判定し、判定結果に応じて、劣化特徴量ＦＯ_１，ＦＯ_２，ＦＯ_３を算出する。評価装置２００は、劣化映像データ１３２の基本特徴量を基にして、同時分布の領域が該当領域に含まれるか否かを判定し、判定結果に応じて、劣化特徴量ＦＤ_１，ＦＤ_２，ＦＤ_３を算出する。そして、評価装置２００は、劣化特徴量ＦＯ_１，ＦＯ_２，ＦＯ_３と劣化特徴量ＦＤ_１，ＦＤ_２，ＦＤ_３とを基にして、評価値Ｖ_１〜Ｖ_３を算出する。このように、評価装置２００は、劣化映像データ１３２および原映像データ１３１の同時分布を用いることで、ぼけ、ブロックノイズ、ノイズをパラメータとした評価値を算出することができる。

本実施例３に係る評価装置について説明する。図８は、本実施例３に係る評価装置の構成を示す機能ブロック図である。一例として、本実施例３に係る評価装置は、ぼけおよびノイズの劣化特徴量を、複数の統計量を組み合わせて生成する。

図８に示すように、この評価装置３００は、通信部１０５、入力部１１０、表示部１２０、記憶部１３０、制御部３４０を有する。通信部１０５、入力部１１０、表示部１２０、記憶部１３０に関する説明は、図１に示したものと同様であるため、ここでは説明を省略する。

制御部３４０は、第一算出部１４１、第二算出部１４２、評価部３４３を有する。

第一算出部１４１は、図１の第一算出部１４１と同様にして、原映像データ１３１に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、原映像データ１３１の基本特徴量を算出する処理部である。第一算出部１４１は、原映像データ１３１の基本特徴量の情報を、評価部３４３に出力する。

第二算出部１４２は、図１の第二算出部１４２と同様にして、劣化映像データ１３２に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、劣化映像データ１３２の基本特徴量を算出する処理部である。第二算出部１４２は、劣化映像データ１３１の基本特徴量の情報を、評価部３４３に出力する。

評価部３４３は、ぼけおよびノイズの劣化特徴量を、複数の統計量を組み合わせて生成し、ぼけおよびノイズの評価値を算出する。評価部３４３は、式（１１）および式（１２）に示す統計量Ｓ_４を新たに利用する。統計量Ｓ_４は、映像中のぼけおよびノイズの発生度合いに関係する。統計量Ｓ_４が小さいほど、ぼけに関連する鈍角型の画像パターンが多く、統計量Ｓ_４が大きいほど、ノイズに関連する鋭角型の画像パターンが多くなることを意味する。

式（１１）、式（１２）において、ａｒｃｔａｎ（Ｅ／Ｄ）は、原点と座標（Ｄ，Ｅ）とを結んだ線分とＤ軸方向の半直線とのなす角を表す。

評価部３４３は、統計量Ｓ_４を用いて、ぼけおよびノイズの劣化特徴量を補正する。例えば、評価部３４３は、式（１３）、式（１４）を用いて、ＦＯ_１，ＦＯ_３，ＦＤ_１，ＦＤ_３を求める。式（１３）のＳ_１は、ぼけの統計量である。式（１４）のＳ_３は、ノイズの統計量である。α、β、γ、δは、それぞれ０より大きい整数である。

評価部３４３は、劣化特徴量ＦＤ_１から劣化特徴量ＦＯ_１を減算することで、ぼけの評価値Ｖ_１を算出する。評価値Ｖ_１の値が正でかつ、大きいほど、ぼけに関して、劣化の度合いが大きいことを示す。評価部３４３は、劣化特徴量ＦＤ_３から劣化特徴量ＦＯ_３を減算することで、ノイズの評価値Ｖ_３を算出する。評価値Ｖ_３の値が正でかつ、大きいほど、ノイズに関して、劣化の度合いが大きいことを示す。

次に、本実施例３に係る評価装置３００の処理手順について説明する。図９は、ぼけおよびノイズに関する劣化特徴量を生成する処理手順を示すフローチャートである。なお、原映像データ１３１、劣化映像データ１３２から各劣化特徴量を生成する処理は共通である。

図９に示すように、評価装置３００は、統計量の初期化を行う（ステップＳ３０１）。ステップＳ３０１で、評価装置３００は、統計量Ｓ_１、Ｓ_３、Ｓ_４の値を０に設定する。評価装置３００は、全画素で処理が終了したか否かを判定する（ステップＳ３０２）。評価装置３００は、全画素で処理が完了した場合には（ステップＳ３０２，Ｙｅｓ）、ステップＳ３０３に移行する。

ステップＳ３０３において、評価装置３００は、Ｓ_４を、ＤｈとＤｖの全画素の総和で除算した値によって、Ｓ_４の値を更新する（ステップＳ３０３）。このような除算を行うと、三画素からなる画像パターンの平均が画像全体で鈍角型、直角型、鋭角型のいずれに属するのかを知ることが出来る。例えば、Ｓ_４が小さいほど、ほけに関連する鈍角型の画像パターンの割合が多くなる。これに対して、Ｓ_４が大きいほど、ノイズに関連する鋭角型の画像パターンの割合が多くなる。

評価装置３００は、式（１３）を計算することにより、ぼけに関する劣化特徴量を算出する（ステップＳ３０４）。例えば、統計量Ｓ_４が小さいほど、ぼけに関係する鈍角型の画像パターンの割合が多くなるので、式（１３）に、Ｓ_４をマイナスした項を加えている。

評価装置３００は、式（１４）を計算することにより、ノイズに関する劣化特徴量を算出する（ステップＳ３０５）。例えば、統計量Ｓ_４が大きいほど、ノイズに関係する鋭角型の画像パターンの割合が多くなるので、式（１４）に、Ｓ_４をプラスした項を加えている。

ステップＳ３０２の説明に戻る。評価装置３００は、全画素で処理が完了していない場合には（ステップＳ３０２，Ｎｏ）、一階差分の絶対値Ｄｈ、Ｄｖを生成する（ステップＳ３０６）。評価装置３００は、二階差分の絶対値Ｅｈ、Ｅｖを生成する（ステップＳ３０７）。

評価装置３００は、統計量Ｓ_１を更新する（ステップＳ３０８）。ステップＳ３０８において、評価装置３００は、（Ｄｈ，Ｅｈ）の位置がぼけ領域に含まれる場合には、Ｓ_１の値とＤｈの値とを加算した値を、Ｓ_１に格納することで、Ｓ_１の値を更新する。その後、評価装置３００は、（Ｄｖ，Ｅｖ）の位置がぼけ領域に含まれる場合には、Ｓ_１の値とＤｖの値とを加算した値を、Ｓ_１に格納することで、Ｓ_１の値を更新する。

評価装置３００は、統計量Ｓ_３を更新する（ステップＳ３０９）。ステップＳ３０９において、評価装置３００は、（Ｄｈ，Ｅｈ）の位置がノイズ領域に含まれる場合には、Ｓ_３の値とＤｈの値とを加算した値を、Ｓ_３に格納することで、Ｓ_３の値を更新する。その後、評価装置３００は、（Ｄｖ，Ｅｖ）の位置がノイズ領域に含まれる場合には、Ｓ_３の値とＤｖの値とを加算した値を、Ｓ_３に格納することで、Ｓ_３の値を更新する。

評価装置３００は、式（１１）を基にして、統計量Ｓ_４を更新する（ステップＳ３１０）。評価装置３００は、式（１２）を基にして、統計量Ｓ_４を更新する（ステップＳ３１１）。評価装置３００は、次の画素に移行し（ステップＳ３１２）、ステップＳ３０２に移行する。

評価装置３００は、原映像データ１３１に対して、図９の処理を実行することで、原映像データ１３１の劣化特徴量ＦＯ_１，ＦＯ_３をそれぞれ算出する。劣化特徴量ＦＯ_１，ＦＯ_３は、統計量Ｓ_４によって補正されたものとなる。評価装置３００は、劣化映像データ１３２に対して、図９の処理を実行することで、劣化映像データ１３２の劣化特徴量ＦＤ_１，ＦＤ_３をそれぞれ算出する。劣化特徴量ＦＤ_１，ＦＤ_３は、統計量Ｓ_４によって補正されたものとなる。

評価装置３００は、劣化特徴量ＦＤ_１から劣化特徴量ＦＯ_１を減算することで、評価値Ｖ_１を算出する。評価装置３００は、劣化特徴量ＦＤ_３から劣化特徴量ＦＯ_３を減算することで、評価値Ｖ_３を算出する。

次に、本実施例３に係る評価装置３００の効果について説明する。評価装置３００は、原映像データ１３１および劣化映像データ１３２からそれぞれ基本特徴量を計算する。評価装置３００は、原映像データ１３１の基本特徴量を基にして、同時分布の領域が該当領域に含まれるか否かを判定し、判定結果に応じて、劣化特徴量ＦＯ_１，ＦＯ_３を算出する。評価装置３００は、劣化映像データ１３２の基本特徴量を基にして、同時分布の領域が該当領域に含まれるか否かを判定し、判定結果に応じて、劣化特徴量ＦＤ_１，ＦＤ_３を算出する。更に、評価装置３００は、統計量Ｓ_４によって、劣化特徴量ＦＯ_１，ＦＯ_３，ＦＤ_１，ＦＤ_３を補正する。評価装置３００は、劣化特徴量ＦＯ_１，ＦＯ_３，ＦＤ_１，ＦＤ_３を基にして、評価値Ｖ_１，Ｖ_３を算出する。このように、評価装置３００は、劣化映像データ１３２および原映像データ１３１の同時分布を用い、統計量Ｓ_４で値を調整することで、ぼけ、ノイズをパラメータとした評価値をより精度良く、算出することができる。

本実施例４に係る評価装置について説明する。図１０は、本実施例４に係る評価装置の構成を示す機能ブロック図である。一例として、コントラスト強調またはコントラスト抑制の劣化特徴量を算出し、評価する。

図１０に示すように、この評価装置４００は、通信部１０５、入力部１１０、表示部１２０、記憶部１３０、制御部４４０を有する。通信部１０５、入力部１１０、表示部１２０、記憶部１３０に関する説明は、図１に示したものと同様であるため、ここでは説明を省略する。

制御部４４０は、第一算出部１４１、第二算出部１４２、評価部４４３を有する。

第一算出部１４１は、図１の第一算出部１４１と同様にして、原映像データ１３１に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、原映像データ１３１の基本特徴量を算出する処理部である。第一算出部１４１は、原映像データ１３１の基本特徴量の情報を、評価部４４３に出力する。

第二算出部１４２は、図１の第二算出部１４２と同様にして、劣化映像データ１３２に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、劣化映像データ１３２の基本特徴量を算出する処理部である。第二算出部１４２は、劣化映像データ１３１の基本特徴量の情報を、評価部４４３に出力する。

評価部４４３は、コントラスト強調またはコントラスト抑制に関する劣化特徴量を算出し、コントラスト強調またはコントラスト抑制に関する評価値を算出する。評価部４４３は、式（１５）および式（１６）に示す統計量Ｓ_５を新たに利用する。統計量Ｓ_５は、映像中のコントラスト強調または抑制の度合いに関係するものである。統計量Ｓ_５は、図４に示した基本特徴量の二次元平面上において、同時分布をＥ＝Ｄと平行な平面に投影した場合の分布の平均値を表す。従って、統計量Ｓ_５が大きいほど、同時分布が右上に偏っていることを意味する。これに対して、統計量Ｓ_５が小さいほど、同時分布が左下に偏っていることを意味する。

評価部４４３が、原映像データ１３１のコントラスト強調またはコントラスト抑制に関する劣化特徴量ＦＯ_４を算出する場合について説明する。評価部４４３は、原映像データ１３１の基本特徴量を式（１５）に代入して、統計量Ｓ_５を更新する。更に、評価部４４３は、原映像データ１３１の基本特徴量を式（１６）に代入して、統計量Ｓ_５を更新する。評価部４４３は、原映像データ１３１の全画素について上記処理を繰り返し実行し平均化した、最終的な統計量Ｓ_５の値を、劣化特徴量ＦＯ_４とする。

評価部４４３が、劣化映像データ１３２のコントラスト強調またはコントラスト抑制に関する劣化特徴量ＦＤ_４を算出する場合について説明する。評価部４４３は、劣化映像データ１３２の基本特徴量を式（１５）に代入して、統計量Ｓ_５を更新する。更に、評価部４４３は、劣化映像データ１３２の基本特徴量を式（１６）に代入して、統計量Ｓ_５を更新する。評価部４４３は、劣化映像データ１３２の全画素について上記処理を繰り返し実行し平均化した、最終的な統計量Ｓ_５の値を、劣化特徴量ＦＤ_４とする。

次に、本実施例４に係る評価装置４００の処理手順について説明する。図１１は、コントラスト強調またはコントラスト抑制に関する劣化特徴量を生成する処理手順を示すフローチャートである。なお、原映像データ１３１、劣化映像データ１３２から各劣化特徴量を生成する処理は共通である。

図１１に示すように、評価装置４００は、統計量の初期化を行う（ステップＳ４０１）。ステップＳ４０１で、評価装置４００は、統計量Ｓ_５の値を０に設定する。評価装置４００は、全画素で処理が終了したか否かを判定する（ステップＳ４０２）。評価装置４００は、全画素で処理が完了した場合には（ステップＳ４０２，Ｙｅｓ）、ステップＳ４０３に移行する。

ステップＳ４０３において、評価装置４００は、Ｓ_５を、ＤｈとＤｖの全画素の総和で除算した値によって、Ｓ_５の値を更新する（ステップＳ４０３）。評価装置４００は、統計量Ｓ_５を、劣化特徴量Ｆ_４として設定する（ステップＳ４０４）。

一方、評価装置４００は、全画素で処理が完了していない場合には（ステップＳ４０２，Ｎｏ）、一階差分の絶対値Ｄｈ、Ｄｖを生成する（ステップＳ４０５）。評価装置４００は、二階差分の絶対値Ｅｈ、Ｅｖを生成する（ステップＳ４０６）。

評価装置４００は、式（１５）によって、統計量Ｓ_５を更新する（ステップＳ４０７）。評価装置４００は、式（１６）によって、統計量Ｓ_５を更新する（ステップＳ４０８）。評価装置４００は、次の画素に移行し（ステップＳ４０９）、ステップＳ４０２に移行する。

次に、本実施例４に係る評価装置４００の効果について説明する。評価装置４００は、原映像データ１３１および劣化映像データ１３２からそれぞれ基本特徴量を計算する。評価装置４００は、原映像データ１３１の基本特徴量の同時分布を基にして、コントラスト強調またはコントラスト抑制に関する劣化特徴量ＦＯ_４を算出する。評価装置４００は、劣化映像データ１３２の基本特徴量の同時分布を基にして、コントラスト強調またはコントラスト抑制に関する劣化特徴量ＦＤ_４を算出する。そして、評価装置４００は、劣化特徴量ＦＯ_４と劣化特徴量ＦＤ_４とを基にして、評価値Ｖ_４を算出する。このように、評価装置４００は、劣化映像データ１３２および原映像データ１３１の同時分布を用いることで、コントラスト強調またはコントラスト抑制をパラメータとした評価値を算出することができる。

例えば、評価値Ｖ_４の値が大きな正の値であるほど、原映像データ１３１と比較して、劣化映像データ１３２は、コントラスト強調が強くかかっていることがわかる。これに対して、評価値Ｖ_４の値が小さな負の値であるほど、原映像データ１３１と比較して、劣化映像データ１３２はコントラスト抑制が強くかかっていることがわかる。

本実施例５に係る評価装置について説明する。図１２は、本実施例５に係る評価装置の構成を示す機能ブロック図である。一例として、本実施例５に係る評価装置は、各特徴量の時間変化を考慮して、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を算出し、評価する。

図１２に示すように、この評価装置５００は、通信部１０５、入力部１１０、表示部１２０、記憶部１３０、制御部５４０を有する。通信部１０５、入力部１１０、表示部１２０、記憶部１３０に関する説明は、図１に示したものと同様であるため、ここでは説明を省略する。

制御部５４０は、第一算出部１４１、第二算出部１４２、評価部５４３を有する。

第一算出部１４１は、図１の第一算出部１４１と同様にして、原映像データ１３１に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、原映像データ１３１の基本特徴量を算出する処理部である。第一算出部１４１は、原映像データ１３１の基本特徴量の情報を、評価部５４３に出力する。

第二算出部１４２は、図１の第二算出部１４２と同様にして、劣化映像データ１３２に含まれる画像の各画素に対して、一階差分および二階差分を算出することで、劣化映像データ１３２の基本特徴量を算出する処理部である。第二算出部１４２は、劣化映像データ１３１の基本特徴量の情報を、評価部５４３に出力する。

評価部５４３は、各特徴量の時間変化を考慮して、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を算出し、ぼけ、ブロックノイズ、ノイズに関する評価値を算出する。ここで、各劣化特徴量に対応する劣化は、動きの激しいシーンの方が、動きの静かなシーンよりも目立ち難くなる性質がある。このため、評価部５４３は、各画素で統計量Ｓ_１〜Ｓ_３を更新する処理において、時間方向の画素の差分値を新たな特徴量Ｔとして計算する。評価部５４３は、特徴量Ｔが大きい場合に、統計量Ｓ_１〜Ｓ_３の更新で加算する値を小さくする。

例えば、評価部５４３は、式（１７）および式（１８）を用いて、特徴量Ｔを算出する。ここで、ｎは現在のフレーム番号、（ｘ，ｙ）を現在の処理位置、Ｆ（ｎ，ｘ，ｙ）を現処理位置の画素値とする。

式（１７）において、μ（ｎ，ｘ，ｙ）は位置（ｎ，ｘ，ｙ）を中心とした領域の画素平均値を表す。Ｍは、例えば４等の所定の固定値をとる。式（１８）は、式（１７）で求まる画素平均値μ（ｎ，ｘ，ｙ）と、一つ前のフレームの画素平均値μ（ｎ−１，ｘ，ｙ）との差分絶対値を求めるものである。適宜、Ｔ（ｎ，ｘ，ｙ）をＴと略記する。

評価部５４３は、特徴量Ｔを用いて、統計量Ｓ_１〜Ｓ_３を更新する際に加算する値を調整する。評価部５４３は、特徴量Ｔが大きいほど、統計量Ｓ_１〜Ｓ_３の更新で加算する値を小さくする。

評価部５４３は、各画素値について上記処理を繰り返し実行することで、統計量Ｓ_１〜Ｓ_３を更新する。評価部５４３は、最終的な統計量Ｓ_１をぼけの劣化特徴量とする。評価部５４３は、最終的な統計量Ｓ_２をブロックノイズの劣化特徴量とする。評価部５４３は、最終的な統計量Ｓ_３を、ノイズの劣化特徴量とする。

本実施例５では、原映像データ１３１から求めたぼけの劣化特徴量をＦＯ_１、劣化映像データ１３２から求めたぼけの劣化特徴量をＦＤ_１とする。原映像データ１３１から求めたブロックノイズの劣化特徴量をＦＯ_２、劣化映像データ１３２から求めたブロックノイズの劣化特徴量をＦＤ_２とする。原映像データ１３１から求めたノイズの劣化特徴量をＦＯ_３、劣化映像データ１３２から求めたノイズの劣化特徴量をＦＤ_３とする。

評価部５４３は、劣化特徴量ＦＤ_１から劣化特徴量ＦＯ_１を減算することで、ぼけの評価値Ｖ_１を算出する。評価部５４３は、劣化特徴量ＦＤ_２から劣化特徴量ＦＯ_２を減算することで、ブロックノイズの評価値Ｖ_２を算出する。評価部５４３は、劣化特徴量ＦＤ_３から劣化特徴量ＦＯ_３を減算することで、ノイズの評価値Ｖ_３を算出する。評価値Ｖ_１〜Ｖ_３の値が正でかつ、大きいほど、劣化の度合いが大きいことを示す。

次に、本実施例５に係る評価装置５００の処理手順について説明する。図１３は、時間方向を考慮してぼけ、ブロックノイズ、ノイズに関する劣化特徴量を生成する処理手順を示すフローチャートである。なお、原映像データ１３１、劣化映像データ１３２から各劣化特徴量を生成する処理は共通である。

図１３に示すように、評価装置５００は、統計量の初期化を行う（ステップＳ５０１）。ステップＳ５０１において、評価装置５００は、統計量Ｓ_１〜Ｓ_３の値を０に設定する。評価装置５００は、全画素で処理が完了したか否かを判定する（ステップＳ５０２）。

評価装置５００は、全画素で処理が完了した場合には（ステップＳ５０２，Ｙｅｓ）、ステップＳ５０３に移行する。ステップＳ５０３において、評価装置５００は、統計量Ｓ_１を、劣化特徴量Ｆ_１に設定する。評価装置５００は、統計量Ｓ_２を、劣化特徴量Ｆ_２に設定する。評価装置５００は、統計量Ｓ_３を、劣化特徴量Ｆ_３に設定する（ステップＳ５０３）。

一方、評価装置５００は、全画素で処理が完了していない場合には（ステップＳ５０２，Ｎｏ）、一階差分の絶対値Ｄｈ、Ｄｖを生成する（ステップＳ５０４）。評価装置５００は、二階差分の絶対値Ｅｈ、Ｅｖを生成する（ステップＳ５０５）。

評価装置５００は、時間差分の絶対値Ｔを算出する（ステップＳ５０６）。評価装置５００は、「Ｄｈ／（Ｔ＋Ｃ_３）」を算出し、算出した値によりＤｈの値を更新する（ステップＳ５０７）。Ｃ_３は定数である。評価装置５００は、「Ｄｖ／（Ｔ＋Ｃ_３）」を算出し、Ｄｖの値を更新する（ステップＳ５０８）。

評価装置５００は、Ｓ_１〜Ｓ_３を更新する（ステップＳ５０９）。すなわち、評価装置５００は、（Ｄｈ，Ｅｈ）の位置がぼけ領域に含まれる場合には、Ｓ_１の値とＤｈの値とを加算した値を、Ｓ_１に格納することで、Ｓ_１の値を更新する。その後、評価装置５００は、（Ｄｖ，Ｅｖ）の位置がぼけ領域に含まれる場合には、Ｓ_１の値とＤｖの値とを加算した値を、Ｓ_１に格納することで、Ｓ_１の値を更新する。なお、Ｓ_１に加算されるＤｈおよびＤｖの値は、ステップＳ５０７、Ｓ５０８で更新された値を用いる。

評価装置５００は、（Ｄｈ，Ｅｈ）の位置がブロックノイズ領域に含まれる場合には、Ｓ_２の値とＤｈの値とを加算した値を、Ｓ_２に格納することで、Ｓ_２の値を更新する。その後、評価装置５００は、（Ｄｖ，Ｅｖ）の位置がブロックノイズ領域に含まれる場合には、Ｓ_２の値とＤｖの値とを加算した値を、Ｓ_２に格納することで、Ｓ_２の値を更新する。なお、Ｓ_２に加算されるＤｈおよびＤｖの値は、ステップＳ５０７、Ｓ５０８で更新された値を用いる。

評価装置５００は、（Ｄｈ，Ｅｈ）の位置がノイズ領域に含まれる場合には、Ｓ_３の値とＤｈの値とを加算した値を、Ｓ_３に格納することで、Ｓ_３の値を更新する。その後、評価装置５００は、（Ｄｖ，Ｅｖ）の位置がノイズ領域に含まれる場合には、Ｓ_３の値とＤｖの値とを加算した値を、Ｓ_３に格納することで、Ｓ_３の値を更新する。なお、Ｓ_３に加算されるＤｈおよびＤｖの値は、ステップＳ５０７、Ｓ５０８で更新された値を用いる。

評価装置５００は、次の画素に移行し（ステップＳ５１０）、ステップＳ５０２に移行する。

評価装置５００は、原映像データ１３１に対して、図１３の処理を実行することで、原映像データ１３１の劣化特徴量ＦＯ_１，ＦＯ_２，ＦＯ_３をそれぞれ算出する。評価装置５００は、劣化映像データ１３２に対して、図１３の処理を実行することで、劣化映像データ１３２の劣化特徴量ＦＤ_１，ＦＤ_２，ＦＤ_３をそれぞれ算出する。そして、評価装置５００は、劣化特徴量ＦＤ_１から劣化特徴量ＦＯ_１を減算することで、評価値Ｖ_１を算出する。評価装置５００は、劣化特徴量ＦＤ_２から劣化特徴量ＦＯ_２を減算することで、評価値Ｖ_２を算出する。評価装置５００は、劣化特徴量ＦＤ_３から劣化特徴量ＦＯ_３を減算することで、評価値Ｖ_３を算出する。

次に、本実施例５に係る評価装置５００の効果について説明する。評価装置５００は、原映像データ１３１および劣化映像データ１３２からそれぞれ基本特徴量を計算する。また、評価装置５００は、連続する画像間の画素の時間変化を考慮して、特徴量Ｔを算出し、特徴量Ｔを用いて、ぼけ、ブロックノイズ、ノイズに関する劣化特徴量を算出し、評価する。このため、映像の特徴に対応して、評価値を精度良く算出することができる。

なお、評価装置５００は、上記処理に加えて、各位置の画素値そのものを基本特徴量に加えても良い。例えば、評価部５４３は、画像全体の画素の平均値を統計量Ｓ_６として算出し、劣化特徴量として算出する。評価部５４３は、原映像データ１３１の統計量Ｓ_６を、劣化特徴量ＦＯ_５として求める。評価部５４３は、劣化映像データ１３２の統計量Ｓ_６を、劣化特徴量ＦＤ_５として求める。そして、評価値５４３は、劣化特徴量ＦＤ_５から劣化特徴量ＦＯ_５を減算することで、評価値Ｖ_５を算出する。評価値Ｖ_５によって、輝度変化や色変化を評価することができる。評価値Ｖ_５の絶対値が大きいほど、劣化映像データ１３２の輝度や色が原映像データ１３１と比較して大きく変化していることを示す。

ところで、上記で説明した劣化特徴量の生成例は画像の全領域を一単位としているが、これらの処理は画像を小領域に分割して、分割した領域を一単位として行っても良い。例えば、映像の一部の箇所だけが画像劣化した場合に、画像全域を一単位として劣化特徴量を求めると、特徴量が平均化されて部分的な劣化を正確に求められない場合がある。部分領域毎に劣化特徴量を求めることで、映像の部分的な劣化を高精度に検出することができる。

次に、上記の実施例に示した評価装置と同様の機能を実現する支援プログラムを実行するコンピュータの一例を説明する。図１４は、評価プログラムを実行するコンピュータの一例を示す図である。

図１４に示すように、コンピュータ６００は、各種演算処理を実行するＣＰＵ６０１と、ユーザからのデータの入力を受け付ける入力装置６０２と、ディスプレイ６０３を有する。また、コンピュータ６００は、記憶媒体からプログラム等を読取る読み取り装置６０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置６０５とを有する。また、コンピュータ６００は、各種情報を一時記憶するＲＡＭ６０６と、ハードディスク装置６０７を有する。そして、各装置６０１〜６０７は、バス６０８に接続される。

ハードディスク装置６０７は、第一算出プログラム６０７ａ、第二算出プログラム６０７ｂ、評価プログラム６０７ｃを有する。ＣＰＵ６０１は、各プログラム６０７ａ，６０７ｂ，６０７ｃを読み出してＲＡＭ６０６に展開する。

第一算出プログラム６０７ａは、第一算出プロセス６０６ａとして機能する。第二算出プログラム６０７ｂは、第二算出プロセス６０６ｂとして機能する。評価プログラム６０７ｃは、評価プロセス６０６ｃとして機能する。

例えば、第一算出プロセス６０６ａは、第一算出部１４１に対応する。第二算出プロセス６０６ｂは、第二算出部１４２に対応する。評価プロセス６０６ｃは、評価部１４３，２４３，３４３，４４３，５４３に対応する。

なお、各プログラム６０７ａ〜６０７ｃについては、必ずしも最初からハードディスク装置６０７に記憶させておかなくてもよい。例えば、コンピュータ６００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ６００がこれらから各プログラム６０７ａ〜６０７ｃを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）第一画像に対して一階差分を算出することで第一特徴量を算出し、前記第一画像に対して二階差分を算出することで第二特徴量を算出する第一算出部と、
第二画像に対して一階差分を算出することで第一特徴量を算出し、前記第二画像に対して二階差分を算出することで第二特徴量を算出する第二算出部と、
前記第一画像から算出された第一特徴量および第二特徴量の関係を示す第一同時分布と、前記第二画像から算出された第一特徴量および第二特徴量の関係を示す第二同時分布とを基にして、前記第一画像に対する第二画像の劣化を評価する評価部と
を有することを特徴とする評価装置。

（付記２）前記評価部は、前記第一算出部が算出した第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、前記第二算出部が算出した第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力することを特徴とする付記１に記載の評価装置。

（付記３）前記評価部は、前記第一画像の前のフレームとなる第三画像と、前記第一画像との差分を基にして、前記第一劣化特徴量を補正し、前記第二画像の前のフレームとなる第四画像と前記第二画像との差分を基にして、前記第二劣化特徴量を補正することを特徴とする付記２に記載の評価装置。

（付記４）前記評価部は、更に、前記第一画像の画素値を第三劣化特徴量として算出し、前記第二画像の画素値を第四劣化特徴量として算出し、前記第三劣化特徴量と前記第四劣化特徴量との差分を評価値として出力することを特徴とする付記１に記載の評価装置。

（付記５）コンピュータが実行する評価方法であって、
第一画像に対して一階差分を算出することで第一特徴量を算出し、前記第一画像に対して二階差分を算出することで第二特徴量を算出し、
第二画像に対して一階差分を算出することで第一特徴量を算出し、前記第二画像に対して二階差分を算出することで第二特徴量を算出し、
前記第一画像から算出された第一特徴量および第二特徴量の関係を示す第一同時分布と、前記第二画像から算出された第一特徴量および第二特徴量の関係を示す第二同時分布とを基にして、前記第一画像に対する第二画像の劣化を評価する
各処理を実行することを特徴とする評価方法。

（付記６）前記評価する処理は、前記第一画像から算出した第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、
前記第二画像から算出した第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力することを特徴とする付記５に記載の評価方法。

（付記７）前記評価する処理は、前記第一画像の前のフレームとなる第三画像と、前記第一画像との差分を基にして、前記第一劣化特徴量を補正し、前記第二画像の前のフレームとなる第四画像と前記第二画像との差分を基にして、前記第二劣化特徴量を補正することを特徴とする付記６に記載の評価方法。

（付記８）前記評価する処理は、更に、前記第一画像の画素値を第三劣化特徴量として算出し、前記第二画像の画素値を第四劣化特徴量として算出し、前記第三劣化特徴量と前記第四劣化特徴量との差分を評価値として出力することを特徴とする付記５に記載の評価方法。

（付記９）コンピュータに、
第一画像に対して一階差分を算出することで第一特徴量を算出し、前記第一画像に対して二階差分を算出することで第二特徴量を算出し、
第二画像に対して一階差分を算出することで第一特徴量を算出し、前記第二画像に対して二階差分を算出することで第二特徴量を算出し、
前記第一画像から算出された第一特徴量および第二特徴量の関係を示す第一同時分布と、前記第二画像から算出された第一特徴量および第二特徴量の関係を示す第二同時分布とを基にして、前記第一画像に対する第二画像の劣化を評価する
各処理を実行させることを特徴とする評価プログラム。

（付記１０）前記評価する処理は、前記第一画像から算出した第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、
前記第二画像から算出した第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力することを特徴とする付記９に記載の評価プログラム。

（付記１１）前記評価する処理は、前記第一画像の前のフレームとなる第三画像と、前記第一画像との差分を基にして、前記第一劣化特徴量を補正し、前記第二画像の前のフレームとなる第四画像と前記第二画像との差分を基にして、前記第二劣化特徴量を補正することを特徴とする付記１０に記載の評価プログラム。

（付記１２）前記評価する処理は、更に、前記第一画像の画素値を第三劣化特徴量として算出し、前記第二画像の画素値を第四劣化特徴量として算出し、前記第三劣化特徴量と前記第四劣化特徴量との差分を評価値として出力することを特徴とする付記９に記載の評価プログラム。

１００ 評価装置
１３１ 原映像データ
１３２ 劣化映像データ
１４１ 第一算出部
１４２ 第二算出部
１４３ 評価部

Claims (6)

1. 第一画像に対して一階差分を算出することで第一特徴量を算出し、前記第一画像に対して二階差分を算出することで第二特徴量を算出する第一算出部と、
   第二画像に対して一階差分を算出することで第一特徴量を算出し、前記第二画像に対して二階差分を算出することで第二特徴量を算出する第二算出部と、
   前記第一算出部が算出した第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、前記第二算出部が算出した第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力する評価部と
   を有することを特徴とする評価装置。
2. 前記評価部は、前記第一算出部が算出した第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、前記第二算出部が算出した第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを鋭角型、直角型、鈍角型の何れかに分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力することを特徴とする請求項１に記載の評価装置。
3. 前記評価部は、前記第一画像の前のフレームとなる第三画像と前記第一画像との差分を基にして、前記第一劣化特徴量を補正し、前記第二画像の前のフレームとなる第四画像と前記第二画像との差分を基にして、前記第二劣化特徴量を補正することを特徴とする請求項２に記載の評価装置。
4. 前記評価部は、更に、前記第一画像の画素値を第三劣化特徴量として算出し、前記第二画像の画素値を第四劣化特徴量として算出し、前記第三劣化特徴量と前記第四劣化特徴量との差分を評価値として出力することを特徴とする請求項１に記載の評価装置。
5. コンピュータが実行する評価方法であって、
   第一画像に対して一階差分を算出することで第一特徴量を算出し、前記第一画像に対して二階差分を算出することで第二特徴量を算出し、
   第二画像に対して一階差分を算出することで第一特徴量を算出し、前記第二画像に対して二階差分を算出することで第二特徴量を算出し、
   前記第一画像に基づき算出された第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、前記第二画像に基づき算出された第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力する
   各処理を実行することを特徴とする評価方法。
6. コンピュータに、
   第一画像に対して一階差分を算出することで第一特徴量を算出し、前記第一画像に対して二階差分を算出することで第二特徴量を算出し、
   第二画像に対して一階差分を算出することで第一特徴量を算出し、前記第二画像に対して二階差分を算出することで第二特徴量を算出し、
   前記第一画像に基づき算出された第一特徴量と第二特徴量との関係から前記第一画像の画像パターンを分類し、分類結果を基にして前記第一画像の第一劣化特徴量を算出し、前記第二画像に基づき算出された第一特徴量と第二特徴量との関係から前記第二画像の画像パターンを分類し、分類結果を基にして前記第二画像の第二劣化特徴量を算出し、前記第一劣化特徴量と前記第二劣化特徴量との差分を評価値として出力する
   各処理を実行させることを特徴とする評価プログラム。

Images