WO2009133900A1

WO2009133900A1 - 画質評価システム、方法およびプログラム

Info

Publication number: WO2009133900A1
Application number: PCT/JP2009/058385
Authority: WO
Inventors: 徹山田
Original assignee: 日本電気株式会社
Priority date: 2008-04-30
Filing date: 2009-04-28
Publication date: 2009-11-05
Also published as: JPWO2009133900A1; US20110013830A1; JP5569808B2; US8503822B2

Abstract

本発明は、第１の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータと、第２の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータとの差分を算出する差分算出部と、第１の画像又は第２の画像の少なくとも一方を用いて、所定の特徴を有する画像の注視領域を判定し、注視領域の度合いを示す注視領域度を算出する注視領域度算出部と、注視領域度に基づいて、注視領域に含まれる画素集合の特徴量の差分に重み付けを行う差分重み付け部と、差分重み付け部により重み付けされた差分に基づいて、第１の画像の画質値を算出する画質値算出部とを有する画質評価システムである。

Description

画質評価システム、方法およびプログラム

　本発明は、画質評価システム、方法およびプログラムに関する。

　ネットワークを介して伝送された画像データ（以下、画像と記載する）や、符号化された画像の画質を客観的に評価する方法として、原画像と評価対象画像の画素値（輝度、色差、ＲＧＢ値など）の差分絶対値、差分二乗、ＳＮ比などを用いる方法がある。しかし、これらの方法では人間の視覚特性を考慮せず、二つの画像の差分をそのまま客観画質値に反映するため、人間が目視により評価をおこなう主観評価結果との相関が低いという問題があった。

　この問題に関連した方法が、特許文献１に記載されている。特許文献１に記載の画質評価方法では、空間周波数の違いによる人間の視覚特性を考慮し、画素値の交流成分電力に基づいて前記差分絶対値、差分二乗、ＳＮ比などに重み付けをおこなうことで、主観評価値との相関を高めている。人間の視覚は、高周波数信号ほど鈍感であることが知られており、映像に含まれている高周波数信号の量により重み付けを制御している。
特許第３４５８６００号公報

　しかし、特許文献１に記載されている画質評価方法では、依然として主観評価結果との相関が低い場合があるという問題点があった。例えば、主観評価結果では、人が注視するだろう映像領域（以下、注視領域）は、他の映像領域と比べて品質劣化を検知しやすいことが知られている。しかし、特許文献１では、注視領域であるかは考慮していない。よって、注視領域においても高周波数信号が多く含まれていれば劣化が小さいと評価されてしまう。また、注視領域以外の領域にも関わらず、高周波数信号が少なければ劣化が大きいと評価されてしまう。

　そこで、本発明は上述した問題に鑑みて発明されたものであり、主観評価結果との相関が高い画質評価システム、方法およびプログラムを提供することを目的とする。

　上記課題を解決する本発明は、第１の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータと、第２の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータとの差分を算出する差分算出部と、前記第１の画像又は前記第２の画像の少なくとも一方を用いて、所定の特徴を有する画像の注視領域を判定し、前記注視領域の度合いを示す注視領域度を算出する注視領域度算出部と、前記注視領域度に基づいて、前記注視領域に含まれる画素集合の特徴量の差分に重み付けを行う差分重み付け部と、前記差分重み付け部により重み付けされた差分に基づいて、前記第１の画像の画質値を算出する画質値算出部とを有することを特徴とする画質評価システムである。

　上記課題を解決する本発明は、第１の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータと、第２の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータとの差分を算出し、前記第１の画像又は前記第２の画像の少なくとも一方を用いて、所定の特徴を有する画像の注視領域を判定し、前記注視領域の度合いを示す注視領域度を算出し、前記注視領域度に基づいて、前記注視領域に含まれる画素集合の特徴量の差分に重み付けを行い、前記重み付けされた差分に基づいて、前記第１の画像の画質値を算出することを特徴とする画質評価方法である。

　上記課題を解決する本発明は、第１の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータと、第２の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータとの差分を算出する処理と、前記第１の画像又は前記第２の画像の少なくとも一方を用いて、所定の特徴を有する画像の注視領域を判定し、前記注視領域の度合いを示す注視領域度を算出する処理と、前記注視領域度に基づいて、前記注視領域に含まれる画素集合の特徴量の差分に重み付けを行う処理と、前記重み付けされた差分に基づいて、前記第１の画像の画質値を算出する処理とを情報処理装置に実行させることを特徴とするプログラムである。

　本発明は、主観評価結果との相関が高い画質評価結果が得られる。

図１は本発明の第１の実施の形態の構成を示すブロック図である。図２は本発明の第１の実施の形態の動作を説明するフローチャートである。図３は本発明の第２の実施の形態の構成を示すブロック図である。図４は本発明の第３の実施の形態の構成を示すブロック図である。図５は本発明の第３の実施の形態における、注視領域を検出するために調べる画素領域を説明するための図である。図６は本発明の第４の実施の形態であるコンピュータシステムを示すブロック図である。図７は本発明の実施例の動作を説明するフローチャートである。

１０１　　　差分算出部
１０２　　　注視領域度算出部
１０３　　　差分重み付け部
１０４　　　画質算出部

　＜第１の実施の形態＞
　本発明における第１の実施の形態について、図面を参照して詳細に説明する。

　図１を参照すると、本発明の第１の実施の形態における画像評価システムは、差分算出部１０１と注視領域度算出部１０２と差分重み付け部１０３と画質算出部１０４とから構成されている。

　差分算出部１０１には、少なくとも１画素からなる画素の集合（以下、画素集合）ごとの、評価対象画像である第１の画像の特徴量を表すデータと、比較対象として利用するための原画像である第２の画像の特徴量を表すデータとが入力される。尚、第１の画像及び第２の画像は、動画像であってもよいし、静止画像でもよい。

　本発明において、画素集合とは少なくとも１画素からなる画素の集合であって、複数の画素の集合に限らず、１画素のみの場合も含む概念である。画素集合が複数の画素の集合の一例としては、１６画素×１６画素のブロックなどがあげられる。

　特徴量を表すデータの一例として、画素集合が１画素である場合は、各画素の画素値があげられる。画素値とは、例えば、輝度値、色差値、またはＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報である。

　また、特徴量を表すデータの一例として、画素集合が複数の画素の集合である場合は、画素集合内の画素の画素値の平均値があげられる。他にも、画素集合の交流成分の統計量、例えば、画素集合内の各画素の画素値の平均値を求め、この平均値と画素集合内の各画素値との差分絶対値の平均値や、画素集合内の画素値の分散であっても良い。更に、画素集合内の画素値を直交変換した後の変換係数であってもよい。尚、画素集合が複数の画素の集合である場合には、上述のように画素集合に対応する特徴量が差分算出部１０１に入力されてもよいが、画素集合内の各画素の値が差分算出部１０１に入力されて、差分算出部１０１において上述のような画素集合ごとの特徴量を計算するような構成としてもよい。

　差分算出部１０１は、第１の画像の特徴量を表すデータと、第２の画像の特徴量を表すデータとの特徴量の差分値を算出する。例えば、第１の画像及び第２の画像が動画像データである場合は、差分算出部１０１に入力される特徴量を表すデータは、動画像における各フレームの画素集合の特徴量となる。差分値は、例えば、第１の画像のあるフレームのある位置における画素集合の特徴量と、第２の画像の、第１の画像と同時刻のフレームで同位置の画素集合の特徴量との、差分の絶対値、または差分二乗値を差分値として算出する。

　尚、第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータとは、画像内の全ての画素集合の特徴量とは限らない。例えば、ネットワークにおける画像伝送を伴う場合には、伝送エラーなどにより、画像内の一部の画素集合の値しか取得できない場合もある。また、第２の画像の特徴量を表すデータを１画素集合おきに送信するなど、伝送負荷を減らすために予め画像内の一部の画素集合の特徴量しか送信しない場合もある。これらの場合は、第１の画像及び第２の画像の両方で参照可能なフレーム、位置の画素集合の特徴量についてのみ、差分値を算出する。

　注視領域度算出部１０２には、第１の画像の少なくとも一部の画素の画素値が入力される。なお、図１で図示はしていないが、第２の画像の少なくとも一部の画素の画素値が入力されてもよい。さらに、上述した様に第１の画像及び第２の画像の少なくとも一部の画素の画素値が入力されてもよい。この場合は、第１の画像、第２の画像各々に対して後述する注視領域度が算出されるが、その平均値を当該画素の注視領域度としてもよい。

　注視領域度算出部１０２は、画像内の所定の特徴を持つ領域である注視領域を特定し、その注視領域の度合を示す注視領域度を算出する。

　ここで、所定の特徴とは、例えば、特定色や、特定の形状（例えば、文字、顔、特定の建物）である。そして、注視領域とは、それらの特徴をもつ画像の領域である。

　注視領域の特定であるが、まず、１画素毎にその画素値を参照し、その画素が所定の特徴を持つ対象画素であるかの度合を示す対象画素度を計算する。一例として、人の肌に近い色を表す画素を対象画素として定義する。具体的には、入力された画素の画素値が、色空間の特定の範囲に含まれるかに応じて対象画素であるかを判定する。色空間の一例としては、輝度値、色差値で表現されるＹＣｂＣｒ色空間や、赤、青、緑の３原色を示すＲＧＢ値で表現されるＲＧＢ色空間などが挙げられる。なお、対象画素の定義は、人の肌に近い色であることに限られるものではなく、他の定義であってもよい。例えばＹＣｂＣｒ色空間を利用した場合は、各画素の、輝度Ｙ、青色差Ｃｂ、赤色差Ｃｒ、の値が画素値として注視領域度算出部１０２に入力される。

　さらに、入力された画素の画素値が、特定の色を持つ場合、当該対象画素が対象画素であると判定する。一般に、人間は映像中に写っている人物を注視する傾向があるので、人間の肌色に近い色を前記特定の色と定義する。具体的には、特定の色は、主観実験（目視）により、肌色に近い色と認識された色をＲＧＢ色空間表現した場合のＲＧＢ空間での範囲がすべて含まれるような、ＹＣｂＣｒ色空間上での範囲として定義する。したがって、ＲＧＢ表現での肌色よりも広い範囲が該当することになる。前記主観実験により、輝度Ｙが４８＜Ｙ＜２２４、青色差Ｃｂが１０４＜Ｃｂ＜１２５、赤色差Ｃｒが１３５＜Ｃｒ＜１７１の範囲にある場合に、人間の肌色に近い色とみなし、この画素を対象画素と判定する。画素値の範囲は上述した値の範囲に限られるものではなく、他の値であってもよい。

　次に、各画素が対象画素であるか否かの判定結果に基づいて、対象画素である画素の対象画素度を１、対象画素でない画素の対象画素度を０とする。尚、対象画素度は、対象画素であるか否かに基づく０と１のみならず、連続値や多段階の値としてもよい。例えば、ＹＣｂＣｒ色空間上で特定の点からの距離を正規化した値を対象画素度と定義するなどの方法が考えられる。

　次に、計算された対象画素度に基づいて注視領域を特定し、その注視領域の注視領域度を算出する。注視領域度の算出の方法であるが、対象画素度が１の画素の集合を注視領域とし、その領域の画素の注視領域度を１とし、他の領域の画素の注視領域度を０とする。尚、対象画素度を連続値や多段階値とした場合、その対象画素度と所定の閾値とを比較し、所定の閾値より大きい対象画素度の画素の集合を注視領域とし、その注視領域内の画素の注視領域度を１とすれば良い。

　また、注視領域度も連続値や多段階値としても良く、例えば、対象画素度を連続値や多段階値とし、所定の閾値よりも対象画素度が大きい画素の集合を注視領域とした場合、注視領域に含まれる画素の対象画素度の合計や平均値に比例して注視領域度も連続値や多段階値としても良い。また、注視領域度が非ゼロである画素の近傍で、注視領域度がゼロとなっている画素に対して、この画素の注視領域度が非ゼロとなるようにしてもよい。これは、人が注視領域を見ている際に、その近傍の画素も視界に入ることを考慮したものである。

　差分重み付け部１０３は、注視領域度算出部１０２において算出された注視領域度を用いて、その注視領域に含まれる画素集合の差分値に対して重み付けを行い、重み付け差分値を出力する。

　画素集合の差分値に対する重み付けであるが、注視領域度が１の画素を含む画素集合の差分値をＡ倍し、注視領域度が０の画素を含む画素集合の差分値をＢ倍する。Ａ、Ｂは重み付け係数であり、Ａ＞Ｂとする。たとえば、注視領域度が１の画素を含む画素集合の差分値を２倍し、注視領域度が０の画素を含む画素集合の差分値を１倍するなどの処理をおこなう。他の例として、各画素の注視領域度が連続値で算出された場合には、重み付け係数＝１＋注視領域度、などのように定義してもよい。

　尚、画素集合が複数の画素からなる場合、その画素集合の一部が注視領域に含まれない場合がある。この場合は、画素集合が注視領域に含まれる面積の割合で、その画素集合が注視領域に含まれるか否かを決定し、画素集合が注視領域に含まれるとした場合には、注視領域に含まれない画素に対しても注視領域に含まれるとして上述と同様の重み付け係数を用いて重み付けを行う。

　画質値算出部１０４では、差分重み付け部１０３により重み付けされた重み付け差分値に基づいて、前記第１の画像の画質を評価する画質値を出力する。画質値は、例えば、第１の画像全体の重み付け差分値の平均値などの形で計算される。出力する画質値は、平均値としてそのまま出力してもよいし、ＳＮ比など別の形に変換した上で出力してもよい。

　次に、図２を参照して、本実施の形態における動作を説明する。

　ステップ１１では、第１の画像の特徴量を表すデータと第２の画像の特徴量を表すデータとの差分を算出する。

　ステップ２１では、注視領域を特定し、注視領域の画素の注視領域度を算出する。

　ステップ３１では、ステップ２１で算出された注視領域度を用いて、ステップ１１で算出された差分に対して、前記画素集合ごとに重み付けを行う。

　ステップ４１では、ステップ３１で重み付けされた差分に基づいて、第１の画像の画質値を算出して、第１の画像を評価する。

　なお、ステップ１１とステップ２１は、時間的な順序が前後して動作してもよいし、並行して動作してもよい。

　第１の実施の形態は、主観評価結果との相関が高い画質評価結果を得ることができる。その理由は、注視領域度を算出することで、人が注視する注視領域であるかを考慮して画質評価を行うためである。特に、人の肌に近い色を注視領域と定義することで、より人が実際に注視する度合いと相関が高い注視領域度を算出することができる。なぜなら、人は一般的に、映像中に人物が存在するとその人物を注視する傾向がみられるからである。

　＜第２の実施の形態＞
　本発明における第２の実施の形態について、図面を参照して詳細に説明する。

　第２の実施の形態は、画素集合が１つの画素がからなる場合について説明する。

　図３を参照すると、本発明の第２の実施の形態における画像評価システムは、差分算出部２０１と注視領域度算出部２０２と差分重み付け部２０３と画質値算出部２０４とから構成されている。

　差分算出部２０１には、１画素ごとの、評価対象画像である第１の画像の特徴量を表すデータと、比較対象として利用するための原画像である第２の画像の特徴量を表すデータとが入力される。特徴量を表すデータの一例として、画素集合が１画素である場合は、各画素の画素値があげられる。画素値とは、例えば、輝度値、色差値、またはＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報である。

　差分算出部２０１は、第１の画像の特徴量を表すデータと、第２の画像の特徴量を表すデータとの差分値を算出する。例えば、第１の画像及び第２の画像が動画像データである場合は、差分算出部１０１に入力される特徴量を表すデータは、動画像における各フレーム、各画素の画素値となる。この場合、第１の画像のあるフレームのある位置における画素の画素値と、第２の画像の、第１の画像と同時刻のフレームで同位置の画素の画素値の、差分の絶対値、または差分二乗値を差分値として算出する。

　尚、第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータとは、画像内の全ての画素の画素値とは限らない。例えば、ネットワークにおける画像伝送を伴う場合には、伝送エラーなどにより、画像内の一部の画素集合の値しか取得できない場合もある。また、第２の画像の特徴量を表すデータを１画素おきに送信するなど、伝送負荷を減らすために予め画像内の一部の画素値しか送信しない場合もある。これらの場合は、第１の画像及び第２の画像の両方で参照可能なフレーム、位置のデータについてのみ、差分値を算出する。

　注視領域度算出部２０２は、注視領域の度合いを示す注視領域度を算出する。本実施の形態では画素集合は１画素であるので、上述した第１の実施の形態の対象画素度がそのまま注視領域度と考えて説明する。

　注視領域度算出部２０２は、まず、入力された画素値から各画素が注視領域の対象となる対象画素であるかを判定する。

　本実施の形態では、一例として、人の肌に近い色を表す画素を対象画素として定義する。具体的には、入力された画素の画素値が、色空間の特定の範囲に含まれるかに応じて対象画素であるかを判定する。色空間の一例としては、輝度値、色差値で表現されるＹＣｂＣｒ色空間や、赤、青、緑の３原色を示すＲＧＢ値で表現されるＲＧＢ色空間などが挙げられる。なお、対象画素の定義は、人の肌に近い色であることに限られるものではなく、他の定義であってもよい。例えばＹＣｂＣｒ色空間を利用した場合は、各画素の、輝度Ｙ、青色差Ｃｂ、赤色差Ｃｒ、の値が画素値として注視領域度算出部１０２に入力される。

　さらに、入力された画素の画素値が、特定の色を持つ場合、当該対象画素が注視領域であると判定する。一般に、人間は映像中に写っている人物を注視する傾向があるので、人間の肌色に近い色を前記特定の色と定義する。具体的には、特定の色は、主観実験（目視）により、肌色に近い色と認識された色をＲＧＢ色空間表現した場合のＲＧＢ空間での範囲がすべて含まれるような、ＹＣｂＣｒ色空間上での範囲として定義する。したがって、ＲＧＢ表現での肌色よりも広い範囲が該当することになる。前記主観実験により、輝度Ｙが４８＜Ｙ＜２２４、青色差Ｃｂが１０４＜Ｃｂ＜１２５、赤色差Ｃｒが１３５＜Ｃｒ＜１７１の範囲にある場合に、人間の肌色に近い色とみなし、この画素を対象画素と判定する。画素値の範囲は上述した値の範囲に限られるものではなく、他の値であってもよい。

　次に、各画素が対象画素であるか否かの判定結果に基づいて、各画素の注視領域度を算出して出力する。例えば、対象画素である画素の注視領域度を１、対象画素でない画素の注視領域度を０とする。尚、注視領域度は、上述した０、１という値でなく、連続値や多段階の値であってもよい。他にも、対象画素の近傍にある画素の注視領域度を０．５と設定するようにしてもよい。これは、人が画像を見る際には、画素の近傍にある画素も視界に入ることを考慮したものである。

　また、対象画素の判定は、上記の方法によらず例えば視聴者の視線を検出するなど他の方法でおこなってもよい。

　差分重み付け部２０３は、注視領域度算出部２０２において算出された注視領域度を用いて、１画素ごとに差分算出部１０１において算出された差分に対して重み付けを行い、重み付け差分値を出力する。

　以下、注視領域度算出部２０２において、各画素の注視領域度が０、１の値で算出されたときの重み付けの一例を説明する。注視領域度が１と算出された画素では差分値をＡ倍し、注視領域度が０と算出された画素では差分値をＢ倍する。Ａ、Ｂは重み付け係数であり、Ａ＞Ｂとする。たとえば、注視領域度が１と算出された画素では差分値を２倍し、注視領域度が１と算出された画素では差分値を１倍するなどの処理をおこなう。

　他の例として、各画素の注視領域度が連続値で算出された場合には、重み付け係数＝１＋注視領域度、などのように定義してもよい。

　画質値算出部２０４では、差分重み付け部２０３により重み付けされた重み付け差分値に基づいて、第１の画像の画質を評価する画質値を出力する。画質値は、例えば、第１の画像全体の重み付け差分値の平均値などの形で計算される。出力する画質評価値は、平均値としてそのまま出力してもよいし、ＳＮ比など別の形に変換した上で出力してもよい。

　＜第３の実施の形態＞
　次に、本発明における第３の実施の形態について詳細に説明する。

　図４を参照すると、本発明の第３の実施の形態における画像評価システムは、差分算出部３０１と注視領域度算出部３０２と差分重み付け部３０３と画質値算出部３０４とから構成されている。

　第３の実施の形態は、注視領域度算出部３０２で画素集合ごとに注視領域度を算出する際に、前記画素集合が１画素ではなく複数の画素の集合であり、注視領域を画素集合（ブロック）単位で特定する点で、第１の実施の形態と異なる。尚、本実施の形態では、差分算出部３０１でも、上記画素集合と同じ画素集合ごとに第１の画像の特徴量を表すデータと第２の画像の特徴量を表すデータが入力された場合を説明する。その他の構成については、第１の実施の形態と同様であるため、説明を省略する。

　差分算出部３０１には、第１の画像の特徴量を表すデータと、第２の画像の特徴量を表すデータとが入力される。例えば、画素集合内の画素値の平均値が入力された場合は、第１の画像のあるフレームのある位置における画素集合内の画素値の平均値と、第２の画像の、第１の画像と同時刻のフレームで同位置の画素集合内の画素値の平均値の、差分の絶対値を差分値として算出する。

　注視領域度算出部３０２には、第１の実施の形態と同様に第１の画像の少なくとも一部の画素の画素値が入力され、入力された各画素が対象画素であるかを判定する。判定方法については、第１の実施の形態と同様であるため、説明を省略する。

　次に、各画素が対象画素であるか否かの判定結果に基づいて、複数の画素の集合である画素集合ごとに、注視領域度を算出して出力する。

　一例として、画素集合が１６画素×１６画素のブロックである場合の注視領域度の算出方法を説明する。まず、画素集合内の対象画素と判定された画素数を集計する。画素数が所定の閾値（例えば１２８）以上である場合はその画素集合の注視領域度を１、閾値未満である場合は０、などのように算出する。他にも、注視領域度＝対象画素と判定された画素数／画素集合内の画素数、などのように定義してもよい。例えば対象画素と判定された画素数が３０である場合は、その画素集合の注視領域度は３０／（１６×１６）となる。

　また、判定対象となる画素集合内で対象画素と判定された画素数を集計するだけでなく、画素集合の近傍の画素集合も含めた範囲内で、対象画素と判定された画素数を集計してもよい。これは、人が画像を見る際には、画素集合の近傍にある画素集合も視界に入ることを考慮したものである。さらに同様の理由により、注視領域度が非ゼロである画素集合の近傍で、注視領域度がゼロとなっている画素集合に対して、この画素集合の注視領域度が非ゼロとなるようにしてもよい。

　一例として、画素集合が１６画素×１６画素のブロックで、図５に示した範囲を近傍の画素集合とする場合で説明する。

　判定対象の画素集合の注視領域度を算出する際に、判定対象の画素集合と近傍の画素集合をあわせた範囲（４８画素×４８画素のブロック）で、対象画素と判定された画素数を集計する。対象画素と判定された画素数が５５であった場合は、５５／（４８×４８）が、判定対象の画素集合の注視領域度となる。なお、この注視領域度の算出方法に限るものではなく、判定対象の画素集合であるか近傍の画素集合であるかに応じて重み付けを行うなど、様々な方法が考えられる。

　本実施の形態では、複数の画素の集合である画素集合毎に注視領域を特定し、その画像集合の注視領域度を算出することで、より、人が実際に注視している度合いと相関が高い値を算出することができる。なぜなら、１画素のみが対象画素である場合より、ある一定以上の範囲が対象画素である場合に注視するからである。例えば、肌の色に近い画素値を持つ１画素ではなく、肌の色に近い画素値をもつ画素の一定以上の範囲（顔全体など）を、人はより注視する傾向がある。

　なお、画素集合を規定する際に、オブジェクト認識部などの構成を設けて予め画像のオブジェクト認識を行っておき、オブジェクトごとに画素集合を設定するような形態としてもよい。オブジェクトごとに注視領域度を算出することで、より精度の高い注視領域度の算出が可能となる。

　＜第４の実施の形態＞
　次に、本発明における第４の実施の形態について図６を参照して説明する。第４の実施の形態では、上述した第１の実施の形態に示される動画像処理装置をコンピュータシステムにより実行する。

　図６を参照すると、本システムはプログラム制御プロセッサ４０１が装備されている。プログラム制御プロセッサ４０１には、第１の画像データバッファ４０２および第２の画像データバッファ４０３の他に、必要なプログラムを格納したプログラムメモリ４０４が接続されている。プログラムメモリ４０４に格納されるプログラムモジュールは、メインプログラム４０５の他に、差分算出処理モジュール４０６、注視領域度算出処理モジュール４０７、差分重み付け処理モジュール４０８、画質算出処理モジュール４０９で構成される。メインプログラム４０５は、画質評価処理を実行する主プログラムである。差分算出モジュール４０６、注視領域度算出処理モジュール４０７、差分重み付け処理モジュール４０８、画質算出処理モジュール４０９のプログラムモジュールは、上述した差分算出部１０１と注視領域度算出部１０２と差分重み付け部１０３と画質算出部１０４をそれぞれ機能的に実現するための処理モジュールである。

　本発明の実施例を説明する。

　本発明は第１の実施の形態の具体例である。

　本実施例では、原画像である第２の画像は、ＳＤＴＶサイズ（水平７２０画素、垂直４８０画素、１秒あたり２９．９７フレーム）の動画像である。また、評価対象画像である第１の画像は、動画像をＭＰＥＧ－２方式４Ｍｂｐｓで符号化し、この符号化画像を復号して得られる動画像である。

　図７は、本実施例の動作をフローチャートで表したものである。

　ステップ２０１では、第２の画像１フレーム分の画像データが差分算出部２０１に入力される。ステップ２０２では、前記第２の画像１フレーム分の画像データと同時刻の、第１の画像１フレーム分の画像データが差分算出部２０１に入力される。ステップ２０３では、差分算出部２０１が、各画像データの同一位置の画素値を抽出し、各画素値の差分絶対値を差分値として算出する。ある位置における第２の画像の輝度値Ｙが５０、第１の画像の輝度値Ｙが５２であったとすると、差分値は２となる。

　ステップ２０４では、注視領域度算出部２０２が、ステップ２０３で抽出した第１の画像の画素値から、その画素が対象画素であるかを判定する。そして、対象画素である場合にはその画素の注視領域度を１、対象画素でない場合にはその画素の注視領域度を０とする。具体的には、画素値が、輝度Ｙが４８＜Ｙ＜２２４、青色差Ｃｂが１０４＜Ｃｂ＜１２５、赤色差Ｃｒが１３５＜Ｃｒ＜１７１の範囲にある場合は対象画素であると判定するものとする。例えば、第１の画像の輝度値Ｙが５２、青色差Ｃｂが１１０、赤色差Ｃｒが１５０の場合は、上述の範囲内であるため、対象画素であると判定され、その画素の注視領域度は１である。

　画素の注視領域度が１である場合は、ステップ２０５において、差分重み付け部１０３がその画素に対応する差分値を２倍した値を重み付け差分値とする。画素の注視領域度が０である場合は、ステップ２０６において、差分重み付け部１０３が差分値を１倍した値を重み付け差分値とする。

　ステップ２０７では、重み付け差分値の画像全体の合計値を求めるために、重み付け差分値を変数Ｓｕｍに加算する。変数Ｓｕｍは初期値をゼロとする。

　ステップ２０８では、１フレームすべての画素での差分計算が完了しているか否かを調べる。完了していない場合は、ステップ２０３に戻り、まだ差分計算が完了していない画素についても同様の処理をおこなう。

　完了している場合は、ステップ２０９で、第１の画像の全フレームにおいて処理が完了しているか否かを調べる。完了していない場合は、ステップ２０１に戻り、次フレーム以降について、同様の処理をおこなう。完了している場合は、ステップ２１０で、画質算出部１０４が重み付け差分値の画像全体の合計値Ｓｕｍを、画質値として出力する。以上の動作で、処理が終了する。

　以上の如く、本発明の第１の態様は、第１の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータと、第２の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータとの差分を算出する差分算出部と、前記第１の画像又は前記第２の画像の少なくとも一方を用いて、所定の特徴を有する画像の注視領域を判定し、前記注視領域の度合いを示す注視領域度を算出する注視領域度算出部と、前記注視領域度に基づいて、前記注視領域に含まれる画素集合の特徴量の差分に重み付けを行う差分重み付け部と、前記差分重み付け部により重み付けされた差分に基づいて、前記第１の画像の画質値を算出する画質値算出部とを有することを特徴とする画質評価システムである。

　本発明の第２の態様は、上記態様において、前記注視領域度算出部は、注視領域の判定を前記画素集合単位で行うことを特徴とする。

　本発明の第３の態様は、上記態様において、前記注視領域度算出部は、前記第１の画像または前記第２の画像を構成する画素の画素値の少なくともいずれかに基づいて、前記画素が前記注視領域の対象となる対象画素であるかを判定し、前記対象画素に基づいて少なくとも１以上の画素からなる注視領域を判定することを特徴とする。

　本発明の第４の態様は、上記態様において、前記注視領域度算出部は、画素の画素値が、色空間の特定の範囲に含まれる場合に、前記画素を対象画素であると判定することを特徴とする。

　本発明の第５の態様は、上記態様において、前記色空間の特定の範囲とは、輝度値及び色差値で表現されるＹＣｂＣｒ色空間で定義された所定の範囲であることを特徴とする。

　本発明の第６の態様は、上記態様において、前記色空間の特定の範囲とは、輝度を示す値Ｙが４８＜Ｙ＜２２４かつ青色差を示す値Ｃｂが１０４＜Ｃｂ＜１２５かつ赤色差を示す値Ｃｒが１３５＜Ｃｒ＜１７１の範囲であることを特徴とする。

　本発明の第７の態様は、上記態様において、前記色空間の特定の範囲とは、赤、青、緑の３原色を示すＲＧＢ値で表現されるＲＧＢ色空間上で定義された所定の範囲であることを特徴とする。

　本発明の第８の態様は、上記態様において、前記注視領域度算出部は、前記対象画素と判定された画素の画素集合の注視領域度を１、前記対象画素でないと判定された画素の画素集合の注視領域度を０と算出することを特徴とする。

　本発明の第９の態様は、上記態様において、前記注視領域度算出部は、前記画素集合内の画素のうち前記対象画素と判定された画素数を集計し、前記集計結果に基づき前記画素集合の注視領域度を算出することを特徴とする。

　本発明の第１０の態様は、上記態様において、前記注視領域度算出部は、前記画素集合内の画素のうち対象画素と判定された画素数と、前記画素集合の近傍の画素のうち対象画素と判定された画素数とを集計し、集計結果に基づき前記画素集合の注視領域度を算出することを特徴とする。

　本発明の第１１の態様は、上記態様において、前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素のうち少なくとも一部の画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報であることを特徴とする。

　本発明の第１２の態様は、上記態様において、前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素集合のうち少なくとも一部の画素集合の、前記画素集合に含まれる画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報の平均値であることを特徴とする。

　本発明の第１３の態様は、上記態様において、前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素集合のうち少なくとも一部の画素集合の、前記画素集合に含まれる画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報の平均値と前記画素集合内の各画素の前記情報との差分絶対値の前記画像集合の平均値であることを特徴とする。

　本発明の第１４の態様は、上記態様において、前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素集合のうち少なくとも一部の画素集合の、前記画素集合に含まれる画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報の分散値であることを特徴とする。

　本発明の第１５の態様は、第１の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータと、第２の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータとの差分を算出し、前記第１の画像又は前記第２の画像の少なくとも一方を用いて、所定の特徴を有する画像の注視領域を判定し、前記注視領域の度合いを示す注視領域度を算出し、前記注視領域度に基づいて、前記注視領域に含まれる画素集合の特徴量の差分に重み付けを行い、前記重み付けされた差分に基づいて、前記第１の画像の画質値を算出することを特徴とする画質評価方法である。

　本発明の第１６の態様は、上記態様において、前記注視領域の判定を前記画素集合単位で行うことを特徴とする。

　本発明の第１７の態様は、上記態様において、前記第１の画像または前記第２の画像を構成する画素の画素値の少なくともいずれかに基づいて、前記画素が前記注視領域の対象となる対象画素であるかを判定し、前記対象画素に基づいて少なくとも１以上の画素からなる注視領域を判定することを特徴とする。

　本発明の第１８の態様は、上記態様において、画素の画素値が、色空間の特定の範囲に含まれる場合に、前記画素を対象画素であると判定することを特徴とする。

　本発明の第１９の態様は、上記態様において、前記色空間の特定の範囲とは、輝度値及び色差値で表現されるＹＣｂＣｒ色空間で定義された所定の範囲であることを特徴とする。

　本発明の第２０の態様は、上記態様において、前記色空間の特定の範囲とは、輝度を示す値Ｙが４８＜Ｙ＜２２４かつ青色差を示す値Ｃｂが１０４＜Ｃｂ＜１２５かつ赤色差を示す値Ｃｒが１３５＜Ｃｒ＜１７１の範囲であることを特徴とする。

　本発明の第２１の態様は、上記態様において、前記色空間の特定の範囲とは、赤、青、緑の３原色を示すＲＧＢ値で表現されるＲＧＢ色空間上で定義された所定の範囲であることを特徴とする。

　本発明の第２２の態様は、上記態様において、前記対象画素と判定された画素の画素集合の注視領域度を１、前記対象画素でないと判定された画素の画素集合の注視領域度を０と算出することを特徴とする。

　本発明の第２３の態様は、上記態様において、画素集合内の画素のうち前記対象画素と判定された画素数を集計し、前記集計結果に基づき前記画素集合の注視領域度を算出することを特徴とする。

　本発明の第２４の態様は、上記態様において、画素集合内の画素のうち対象画素と判定された画素数と、前記画素集合の近傍の画素のうち対象画素と判定された画素数とを集計し、集計結果に基づき前記画素集合の注視領域度を算出することを特徴とする。

　本発明の第２５の態様は、上記態様において、前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素のうち少なくとも一部の画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報であることを特徴とする。

　本発明の第２６の態様は、上記態様において、前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素集合のうち少なくとも一部の画素集合の、前記画素集合に含まれる画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報の平均値であることを特徴とする。

　本発明の第２７の態様は、上記態様において、前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素集合のうち少なくとも一部の画素集合の、前記画素集合に含まれる画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報の平均値と前記画素集合内の各画素の前記情報との差分絶対値の前記画像集合の平均値であることを特徴とする。

　本発明の第２８の態様は、上記態様において、前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素集合のうち少なくとも一部の画素集合の、前記画素集合に含まれる画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報の分散値であることを特徴とする。

　本発明の第２９の態様は、第１の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータと、第２の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータとの差分を算出する処理と、前記第１の画像又は前記第２の画像の少なくとも一方を用いて、所定の特徴を有する画像の注視領域を判定し、前記注視領域の度合いを示す注視領域度を算出する処理と、前記注視領域度に基づいて、前記注視領域に含まれる画素集合の特徴量の差分に重み付けを行う処理と、前記重み付けされた差分に基づいて、前記第１の画像の画質値を算出する処理とを情報処理装置に実行させることを特徴とするプログラムである。

　以上好ましい実施の形態、実施例及び態様をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び態様に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

　本出願は、２００８年４月３０日に出願された日本出願特願２００８－１１８３４９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

　第１の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータと、第２の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータとの差分を算出する差分算出部と、
　前記第１の画像又は前記第２の画像の少なくとも一方を用いて、所定の特徴を有する画像の注視領域を判定し、前記注視領域の度合いを示す注視領域度を算出する注視領域度算出部と、
　前記注視領域度に基づいて、前記注視領域に含まれる画素集合の特徴量の差分に重み付けを行う差分重み付け部と、
　前記差分重み付け部により重み付けされた差分に基づいて、前記第１の画像の画質値を算出する画質値算出部と
を有することを特徴とする画質評価システム。
　前記注視領域度算出部は、注視領域の判定を前記画素集合単位で行うことを特徴とする請求項１に記載の画質評価システム。
　前記注視領域度算出部は、前記第１の画像または前記第２の画像を構成する画素の画素値の少なくともいずれかに基づいて、前記画素が前記注視領域の対象となる対象画素であるかを判定し、前記対象画素に基づいて少なくとも１以上の画素からなる注視領域を判定することを特徴とする請求項１又は請求項２に記載の画質評価システム。
　前記注視領域度算出部は、画素の画素値が、色空間の特定の範囲に含まれる場合に、前記画素を対象画素であると判定することを特徴とする請求項３に記載の画質評価システム。
　前記色空間の特定の範囲とは、輝度値及び色差値で表現されるＹＣｂＣｒ色空間で定義された所定の範囲であることを特徴とする請求項４に記載の画質評価システム。
　前記色空間の特定の範囲とは、輝度を示す値Ｙが４８＜Ｙ＜２２４かつ青色差を示す値Ｃｂが１０４＜Ｃｂ＜１２５かつ赤色差を示す値Ｃｒが１３５＜Ｃｒ＜１７１の範囲であることを特徴とする請求項４に記載の画質評価システム。
　前記色空間の特定の範囲とは、赤、青、緑の３原色を示すＲＧＢ値で表現されるＲＧＢ色空間上で定義された所定の範囲であることを特徴とする請求項４に記載の画質評価システム。
　前記注視領域度算出部は、前記対象画素と判定された画素の画素集合の注視領域度を１、前記対象画素でないと判定された画素の画素集合の注視領域度を０と算出することを特徴とする請求項３に記載の画質評価システム。
　前記注視領域度算出部は、前記画素集合内の画素のうち前記対象画素と判定された画素数を集計し、前記集計結果に基づき前記画素集合の注視領域度を算出することを特徴とする請求項３に記載の画質評価システム。
　前記注視領域度算出部は、前記画素集合内の画素のうち対象画素と判定された画素数と、前記画素集合の近傍の画素のうち対象画素と判定された画素数とを集計し、集計結果に基づき前記画素集合の注視領域度を算出することを特徴とする請求項３に記載の画質評価システム。
　前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素のうち少なくとも一部の画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報であることを特徴とする請求項１に記載の画質評価システム。
　前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素集合のうち少なくとも一部の画素集合の、前記画素集合に含まれる画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報の平均値であることを特徴とする請求項１に記載の画質評価システム。
　前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素集合のうち少なくとも一部の画素集合の、前記画素集合に含まれる画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報の平均値と前記画素集合内の各画素の前記情報との差分絶対値の前記画像集合の平均値であることを特徴とする請求項１に記載の画質評価システム。
　前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素集合のうち少なくとも一部の画素集合の、前記画素集合に含まれる画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報の分散値であることを特徴とする請求項１に記載の画質評価システム。
　第１の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータと、第２の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータとの差分を算出し、
　前記第１の画像又は前記第２の画像の少なくとも一方を用いて、所定の特徴を有する画像の注視領域を判定し、前記注視領域の度合いを示す注視領域度を算出し、
　前記注視領域度に基づいて、前記注視領域に含まれる画素集合の特徴量の差分に重み付けを行い、
　前記重み付けされた差分に基づいて、前記第１の画像の画質値を算出する
ことを特徴とする画質評価方法。
　前記注視領域の判定を前記画素集合単位で行うことを特徴とする請求項１５に記載の画質評価方法。
　前記第１の画像または前記第２の画像を構成する画素の画素値の少なくともいずれかに基づいて、前記画素が前記注視領域の対象となる対象画素であるかを判定し、前記対象画素に基づいて少なくとも１以上の画素からなる注視領域を判定することを特徴とする請求項１５又は請求項１６に記載の画質評価方法。
　画素の画素値が、色空間の特定の範囲に含まれる場合に、前記画素を対象画素であると判定することを特徴とする請求項１７に記載の画質評価方法。
　前記色空間の特定の範囲とは、輝度値及び色差値で表現されるＹＣｂＣｒ色空間で定義された所定の範囲であることを特徴とする請求項１８に記載の画質評価方法。
　前記色空間の特定の範囲とは、輝度を示す値Ｙが４８＜Ｙ＜２２４かつ青色差を示す値Ｃｂが１０４＜Ｃｂ＜１２５かつ赤色差を示す値Ｃｒが１３５＜Ｃｒ＜１７１の範囲であることを特徴とする請求項１８に記載の画質評価方法。
　前記色空間の特定の範囲とは、赤、青、緑の３原色を示すＲＧＢ値で表現されるＲＧＢ色空間上で定義された所定の範囲であることを特徴とする請求項１８に記載の画質評価方法。
　前記対象画素と判定された画素の画素集合の注視領域度を１、前記対象画素でないと判定された画素の画素集合の注視領域度を０と算出することを特徴とする請求項１７に記載の画質評価方法。
　画素集合内の画素のうち前記対象画素と判定された画素数を集計し、前記集計結果に基づき前記画素集合の注視領域度を算出することを特徴とする請求項１７に記載の画質評価方法。
　画素集合内の画素のうち対象画素と判定された画素数と、前記画素集合の近傍の画素のうち対象画素と判定された画素数とを集計し、集計結果に基づき前記画素集合の注視領域度を算出することを特徴とする請求項１７に記載の画質評価方法。
　前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素のうち少なくとも一部の画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報であることを特徴とする請求項１５に記載の画質評価方法。
　前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素集合のうち少なくとも一部の画素集合の、前記画素集合に含まれる画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報の平均値であることを特徴とする請求項１５に記載の画質評価方法。
　前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素集合のうち少なくとも一部の画素集合の、前記画素集合に含まれる画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報の平均値と前記画素集合内の各画素の前記情報との差分絶対値の前記画像集合の平均値であることを特徴とする請求項１５に記載の画質評価方法。
　前記第１の画像の特徴量を表すデータ及び第２の画像の特徴量を表すデータは、前記第１の画像及び前記第２の画像を構成する画素集合のうち少なくとも一部の画素集合の、前記画素集合に含まれる画素の、輝度値、色差値、ＲＧＢ値のいずれか、もしくはそれらを組み合わせた情報の分散値であることを特徴とする請求項１５に記載の画質評価方法。
　第１の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータと、第２の画像を構成する少なくとも１画素からなる画素集合の特徴量を表すデータとの差分を算出する処理と、
　前記第１の画像又は前記第２の画像の少なくとも一方を用いて、所定の特徴を有する画像の注視領域を判定し、前記注視領域の度合いを示す注視領域度を算出する処理と、
　前記注視領域度に基づいて、前記注視領域に含まれる画素集合の特徴量の差分に重み付けを行う処理と、
　前記重み付けされた差分に基づいて、前記第１の画像の画質値を算出する処理と
を情報処理装置に実行させることを特徴とするプログラム。