JP4514155B2 - 映像品質評価装置、方法およびプログラム - Google Patents
映像品質評価装置、方法およびプログラム Download PDFInfo
- Publication number
- JP4514155B2 JP4514155B2 JP2006005822A JP2006005822A JP4514155B2 JP 4514155 B2 JP4514155 B2 JP 4514155B2 JP 2006005822 A JP2006005822 A JP 2006005822A JP 2006005822 A JP2006005822 A JP 2006005822A JP 4514155 B2 JP4514155 B2 JP 4514155B2
- Authority
- JP
- Japan
- Prior art keywords
- deterioration
- video
- degradation
- strength
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、映像品質の評価技術に関し、特に評価対象となる映像の特徴量からその映像の主観品質を推定する映像客観品質評価装置、方法およびプログラムに関する。
映像配信や映像コミュニケーション等の映像を利用したサービスにおいては、高品質な映像の授受を実現するために、提供された映像の品質を適切かつ迅速に評価する手法の確立が望まれている。
従来より、映像品質評価は、ユーザがその映像を実際に観たときに感じる品質を測定する、いわゆる主観品質評価が基本である。しかしながら、主観品質評価は専用の設備と膨大な時間および労力を要する。そこで、映像品質評価をより効率的に行うために、映像から物理的に測定される量から主観品質を推定する技術（これを「客観品質評価技術」という。）の開発が望まれている。
従来の客観品質評価技術は、例えば、符号化／伝送／復号化等を経て劣化した映像（劣化映像）の劣化に対応した劣化特徴量（例えば、劣化映像の特徴量や、符号化前の入力映像を参照する場合は、劣化映像の物理的特徴等の差分情報など。）と予め求めた主観評価値との相関関係を表す「劣化特徴関数（客観評価関数）」を求め、この劣化特徴関数を用いて主観品質を推定するものである。さらに、客観評価値と主観評価値との対応関係が入力映像に依存することから、入力映像の複雑さや動き量に対応した特徴量に基づいて、入力映像ごとの客観評価値と主観評価値との対応関係のずれ、すなわち劣化特徴関数の入力映像依存性を補正することが提案されている（非特許文献１）。
ところで、従来における主要な映像サービスといえば放送サービスであった。このような映像サービスにおいては、伝送エラーが比較的少なく、また遅延もほぼ一定となることから、符号化歪が映像の品質劣化の主な要因であった。したがって、上述した非特許文献１記載の客観品質評価技術を含め、従来の客観品質評価技術は、映像の品質劣化が時間的にも空間的にも比較的均一であることを利用して、劣化映像のみまたは劣化映像と基準映像の差分から得られる特徴量を用いて、例えばブロック歪やボケ等の符号化歪をフレーム単位で検出して数値化し、それらの値を各フレームについて平均化したものに基づいて主観値を推定するものであった。
岡本、栗田「入力映像の特徴量を考慮した映像品質客観評価法の検討」
しかしながら、近年普及しつつある通信ネットワークを用いた映像サービスにおいては、ネットワークや端末においてパケット損失や遅延ゆらぎ等の現象が発生し、これらの現象によって、１フレーム内において局所的に劣化する「空間局所的な劣化」や劣化の程度が時間的に変動する「時間局所的な劣化」が発生する。これらの空間局所的・時間局所的な劣化は、主観品質に与える影響が大きいにもかかわらず、従来の客観品質評価技術においては劣化映像の特徴をフレーム全体で平均化していたために、空間局所的な劣化や時間局所的な劣化の少なくとも一方の影響を受けた映像については、その主観値を精度良く推定することができなかった。
そこで、本発明は、評価対象映像に加わった劣化量のうち所定の閾値を超えた劣化量をその継続時間に応じて重み付けして前記評価対象映像の劣化強度を導出する劣化強度導出手段と、前記評価対象映像に対して導出された複数の劣化強度から１の等価的な劣化強度を導出する等価劣化強度導出手段と、前記１の等価的な劣化強度と、予め求められている劣化強度と主観評価値との対応関係とに基づいて前記評価対象映像の主観評価値を推定する主観評価値推定手段とを備えることを特徴とする。
また、前記等価劣化強度導出手段は、２つの劣化強度を１の等価的な劣化強度に統合する処理を少なくとも１回は行うようにしてもよい。
また、前記等価劣化強度導出手段は、２つの劣化強度のうち第１の閾値以下の劣化強度に重みを付けて前記複数の劣化強度の和をとるようにしてもよい。このときに前記重みは１未満の値とし、前記２つの劣化強度のうち他の劣化強度が第２の閾値より大きいときは前記重みをゼロとしてもよい。
また、前記等価劣化強度導出手段は、２つの劣化強度のうち第１の閾値以下の劣化強度に重みを付けて前記複数の劣化強度の和をとるようにしてもよい。このときに前記重みは１未満の値とし、前記２つの劣化強度のうち他の劣化強度が第２の閾値より大きいときは前記重みをゼロとしてもよい。
また、前記等価劣化強度導出手段は、２つの劣化強度を１の等価的な劣化強度に統合する処理において、前記２つの劣化強度の和が一定としたときの最大の劣化強度および最小の劣化強度を前記２つの劣化強度の比率に基づいて重み付けするようにしてもよい。
さらに、前記評価対象映像のみを用いて、前記評価対象映像の特徴量の映像の劣化に関する劣化特徴量からその評価対象映像のフレーム単位の劣化量を導出する劣化量導出手段を備えるようにしてもよい。
このとき、前記劣化量導出手段は、前記評価対象映像のフレームごとまたはフレーム間の空間的な特徴量と時間的な特徴量とを用いるようにしてもよい。
また、前記評価対象映像のシーンの特徴を表すシーン特徴量を導出するシーン特徴量導出手段をさらに備え、前記主観評価値推定手段は、前記シーン特徴量に対する前記相関関係の依存性を考慮して前記評価対象映像の主観評価値を推定するようにしてもよい。
また、前記シーン特徴量導出手段は、前記シーン特徴量として前記評価対象映像のフレームごとまたはフレーム間の空間的な特徴量と時間的な特徴量を用いるようにしてもよい。
また、前記評価対象映像とこの評価対象映像に対応する符号化前または伝送前の基準映像の特徴量とを用いて、前記評価対象映像の特徴量の映像の劣化に関する劣化特徴量と前記基準映像の特徴量とからその評価対象映像のフレーム単位の劣化量を導出する劣化量導出手段を備えるようにしてもよい。
また、前記評価対象映像とこの評価対象映像に対応する符号化前または伝送前の基準映像とを用いて、前記評価対象映像の特徴量の映像の劣化に関する劣化特徴量と前記基準映像の特徴量とからその評価対象映像のフレーム単位の劣化量を導出する劣化量導出手段を備えるようにしてもよい。
また、前記評価対象映像のシーンの特徴を表すシーン特徴量を導出するシーン特徴量導出手段をさらに備え、前記等価劣化強度導出手段は、前記シーン特徴量と前記２つの劣化強度の大きさに基づいて前記２つの劣化強度に対する重みを決定し、この重みを付けて前記２つの劣化強度の和をとるようにしてもよい。
本発明によれば、例えばパケット損失や遅延ゆらぎ等によって局所的に映像品質劣化しても、主観品質を推定することができる。
以下、図面を参照して、本発明の実施の形態について説明する。
［第１の実施の形態］
本発明の第１の実施の形態にかかる映像品質評価装置および方法は、符号化や伝送によって劣化した劣化映像を評価対象映像として、その劣化映像のみからその主観評価値を推定するものである。このように劣化映像のみから品質を推定する方法は、一般に「Ｎｏ−ｒｅｆｅｒｅｎｃｅ法（ＮＲ法）」と呼ばれる。
以下、説明の便宜のため、評価対象映像を「劣化映像」と呼ぶことにする。
図１に示すように、本実施の形態にかかる映像品質評価装置は、劣化映像の信号、すなわち劣化映像信号ＩＳを入力として、その劣化映像のフレームごとの劣化量ＩＶを導出する劣化量導出部１１と、フレームごとの劣化量ＩＶを入力としてその時間的な変動量に基づいて劣化映像の劣化強度ＧＰを導出する劣化強度導出部１２と、劣化強度導出部１２において導出された劣化強度ＧＰと、後述するシーン補正係数ＣＣとに基づいて、シーン補正係数ＣＣごとに予め求められている劣化強度と主観評価値との対応関係と、劣化映像の主観評価値を推定する主観評価値推定部１３と、劣化映像信号ＩＳを入力として、その劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出するシーン特徴量導出部１４と、シーン特徴量ＳＶに基づいて、主観評価値推定部１３における劣化強度と主観評価値との対応関係のシーン依存性を補正する補正係数ＣＣを導出するシーン補正係数導出部１５とから構成されている。
これらの構成要素は、ＣＰＵやメモリ、インターフェースを備えたコンピュータにコンピュータプログラムをインストールすることにより、上記のコンピュータのハードウェア資源とソフトウェアとが協働して実現されるものである。すなわち、ＣＰＵは、メモリに格納されたプログラムに従って処理を実行する。
［第１の実施の形態］
本発明の第１の実施の形態にかかる映像品質評価装置および方法は、符号化や伝送によって劣化した劣化映像を評価対象映像として、その劣化映像のみからその主観評価値を推定するものである。このように劣化映像のみから品質を推定する方法は、一般に「Ｎｏ−ｒｅｆｅｒｅｎｃｅ法（ＮＲ法）」と呼ばれる。
以下、説明の便宜のため、評価対象映像を「劣化映像」と呼ぶことにする。
図１に示すように、本実施の形態にかかる映像品質評価装置は、劣化映像の信号、すなわち劣化映像信号ＩＳを入力として、その劣化映像のフレームごとの劣化量ＩＶを導出する劣化量導出部１１と、フレームごとの劣化量ＩＶを入力としてその時間的な変動量に基づいて劣化映像の劣化強度ＧＰを導出する劣化強度導出部１２と、劣化強度導出部１２において導出された劣化強度ＧＰと、後述するシーン補正係数ＣＣとに基づいて、シーン補正係数ＣＣごとに予め求められている劣化強度と主観評価値との対応関係と、劣化映像の主観評価値を推定する主観評価値推定部１３と、劣化映像信号ＩＳを入力として、その劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出するシーン特徴量導出部１４と、シーン特徴量ＳＶに基づいて、主観評価値推定部１３における劣化強度と主観評価値との対応関係のシーン依存性を補正する補正係数ＣＣを導出するシーン補正係数導出部１５とから構成されている。
これらの構成要素は、ＣＰＵやメモリ、インターフェースを備えたコンピュータにコンピュータプログラムをインストールすることにより、上記のコンピュータのハードウェア資源とソフトウェアとが協働して実現されるものである。すなわち、ＣＰＵは、メモリに格納されたプログラムに従って処理を実行する。
次に上記の構成要素ごとにその動作を説明しながら、本実施の形態における主観値の推定方法について述べる。
（１）劣化量の導出
まず、劣化量導出部１１は、劣化映像に加わったフレームごとの劣化量を求めるものであり、具体的には、劣化映像（評価対象映像）信号ＩＳから、その劣化映像のフレームごとまたはフレーム間の特徴量を用いて劣化映像のフレームごとの劣化量を導出する。
（１）劣化量の導出
まず、劣化量導出部１１は、劣化映像に加わったフレームごとの劣化量を求めるものであり、具体的には、劣化映像（評価対象映像）信号ＩＳから、その劣化映像のフレームごとまたはフレーム間の特徴量を用いて劣化映像のフレームごとの劣化量を導出する。
このとき、上記特徴量としては、空間的な特徴量と時間的な特徴量とが考えられ、これらの「空間的な特徴量」および「時間的な特徴量」としては、例えば、国際電気通信連合（International Telecommunication Union：ＩＴＵ）のITU-T Recommendation P.910, "Subjective video quality assessment methods for multimedia applications," Aug. 1996 （http://www.itu.int/rec/recommendation.asp?type=items&lang=e&parent=T-REC-P.910-199608-S）（以下、「参考文献１」という。）のAppendixに記載されている「Spatial Information （ＳＩ）」および「Temporal Infromation（ＴＩ）」を用いることができる。上記特徴量として、フレームごとに導出されたＳＩやＴＩをそのまま用いることもできるが、１つのフレームを複数のブロックに分割し、これらのブロックごとに得られたＳＩやＴＩに対して演算を行って得られた値、例えば最大値、最小値または平均値等を用いても良い。
また、フレーム単位の劣化量を導出するにあたっては、上述のようにフレームごとに導出されたＳＩやＴＩ、またはこれらブロックごとに導出されたこれらの値の最大値、最小値若しくは平均値等をそのままフレーム単位の劣化量とすることもできるが、１または複数のフレームからそれぞれ求めた上記の特徴量の１または複数に対してさらに演算を施して導出した値をもって「フレーム単位の劣化量」としてもよい。
本実施の形態においては、１のフレームにおいてブロックごとに導出したＳＩ、ＴＩの最大値ＳＩmax、ＴＩmaxに対して、下記の式１に示すように、所定の係数を乗じて加算することによってフレームごとの劣化量を計算することとする。
［劣化量ＩＶ］＝α1 ［ＳＩmax］＋α2 ［ＴＩmax］ ・・・（１）
ここでα1およびα2は、劣化量ＩＶに対する空間方向の特徴量および時間方向の特徴量の影響をそれぞれ正規化するための係数である。これらの係数は、複数の映像に対する主観評価実験により先見的に導出されるものである。
図２は、横軸をフレーム番号、縦軸を劣化量ＩＶとして、フレームごとに求められた劣化量を表した図である。ここでは、劣化映像信号ＩＳに加わった劣化量ＩＶが時間の経過とともに変動している様子が示されている。本実施の形態においては、予め定められた時間（例えば１０秒間）を主観評価値の分析単位とし、この分析単位となる時間を「評価単位時間」と呼ぶことにする。したがって、図２に示すように、評価単位時間ごとに推定された主観評価値（推定主観評価値）が求められることになる。
なお、本発明にかかる映像評価方法において、特に評価単位時間に制限はなく、また、評価単位時間ごとにほぼリアルタイムで推定主観評価値を導出してもよいし、または、劣化量若しくは後述するシーン特徴量に関して評価単位時間分をメモリに蓄積し、時間の経過に合わせて分析対象時間を移動させながら推定主観評価値を導出するようにしてもよい。
なお、本発明にかかる映像評価方法において、特に評価単位時間に制限はなく、また、評価単位時間ごとにほぼリアルタイムで推定主観評価値を導出してもよいし、または、劣化量若しくは後述するシーン特徴量に関して評価単位時間分をメモリに蓄積し、時間の経過に合わせて分析対象時間を移動させながら推定主観評価値を導出するようにしてもよい。
（２）劣化強度の導出
劣化強度導出部１２は、劣化映像の特徴量から導出された劣化量を、１フレーム内において局所的に劣化する「空間局所的な劣化」の度合いや劣化の程度が時間的に変動する「時間局所的な劣化」の度合いを考慮して評価したものを「劣化強度」として導出するものである。このような劣化強度の導出のステップは、より詳しくは、（ａ）劣化強度導出ステップと（ｂ）複数劣化統合ステップとから構成される。
劣化強度導出部１２は、劣化映像の特徴量から導出された劣化量を、１フレーム内において局所的に劣化する「空間局所的な劣化」の度合いや劣化の程度が時間的に変動する「時間局所的な劣化」の度合いを考慮して評価したものを「劣化強度」として導出するものである。このような劣化強度の導出のステップは、より詳しくは、（ａ）劣化強度導出ステップと（ｂ）複数劣化統合ステップとから構成される。
本実施の形態においては、劣化映像に加わった劣化量の時間的な変動量に基づいてその劣化強度を導出することとし、上記「劣化強度導出ステップ」においては、フレームごとの劣化量ＩＶを入力として、所定の閾値を超えた劣化量をその継続時間に応じて重み付けする処理を行い、上記「複数劣化統合ステップ」においては、劣化強度導出ステップを経て１つの評価単位時間において導出された複数の劣化強度を１つの等価的な劣化強度に統合する処理を行う。
以下に、図３および図４を参照して、劣化強度導出部１２において行われる「劣化強度導出ステップ」と「複数劣化統合ステップ」とについて説明する。
以下に、図３および図４を参照して、劣化強度導出部１２において行われる「劣化強度導出ステップ」と「複数劣化統合ステップ」とについて説明する。
（ａ）劣化強度導出ステップ
このステップは、局所的に発生した劣化量をその劣化が継続した時間で重み付けする。図３は、評価単位時間内における劣化強度（Ｐ1，Ｐ2，Ｐ3 ）の導出を示す図（図３（ａ））と複数の劣化強度（Ｐ1，Ｐ2）が統合された様子を示す図（図３（ｂ））である。図３（ａ）に示すように、本実施の形態においては、劣化量に対して閾値ＴＨを設定し、劣化量が閾値ＴＨを上回ってから（Ｕ点）次にこれを下回る（Ｄ点）までを局所的な劣化が発生した区間と考える。そして、その区間のフレーム数を劣化継続時間Ｔ、その区間における劣化量の平均値を局所平均劣化量Ｓとして算出し、劣化継続時間Ｔと局所平均劣化量Ｓとを掛け合わせた値を劣化強度Ｐとして導出する。したがって、図３（ａ）に示す例においては、閾値ＴＨを超えた状態が３回あり（それぞれ「劣化１」、「劣化２」、「劣化３」と表す。））、それぞれの劣化継続時間および局所平均劣化量をＴ1，Ｔ2，Ｔ3 およびＳ1，Ｓ2，Ｓ3 とすると、１回目の劣化１から劣化強度Ｐ1＝Ｔ1×Ｓ1、２回目の劣化１から劣化強度Ｐ2＝Ｔ2×Ｓ2、３回目の劣化１から劣化強度Ｐ3＝Ｔ3×Ｓ3 が導出されることとなる。
このステップは、局所的に発生した劣化量をその劣化が継続した時間で重み付けする。図３は、評価単位時間内における劣化強度（Ｐ1，Ｐ2，Ｐ3 ）の導出を示す図（図３（ａ））と複数の劣化強度（Ｐ1，Ｐ2）が統合された様子を示す図（図３（ｂ））である。図３（ａ）に示すように、本実施の形態においては、劣化量に対して閾値ＴＨを設定し、劣化量が閾値ＴＨを上回ってから（Ｕ点）次にこれを下回る（Ｄ点）までを局所的な劣化が発生した区間と考える。そして、その区間のフレーム数を劣化継続時間Ｔ、その区間における劣化量の平均値を局所平均劣化量Ｓとして算出し、劣化継続時間Ｔと局所平均劣化量Ｓとを掛け合わせた値を劣化強度Ｐとして導出する。したがって、図３（ａ）に示す例においては、閾値ＴＨを超えた状態が３回あり（それぞれ「劣化１」、「劣化２」、「劣化３」と表す。））、それぞれの劣化継続時間および局所平均劣化量をＴ1，Ｔ2，Ｔ3 およびＳ1，Ｓ2，Ｓ3 とすると、１回目の劣化１から劣化強度Ｐ1＝Ｔ1×Ｓ1、２回目の劣化１から劣化強度Ｐ2＝Ｔ2×Ｓ2、３回目の劣化１から劣化強度Ｐ3＝Ｔ3×Ｓ3 が導出されることとなる。
なお、本実施の形態においては、劣化強度を求めるにあたり、「局所的な劣化」を表す量として、局所平均劣化量、すなわち局所的な劣化が発生した区間における劣化量の平均値Ｓを用いているが、平均値に代えて、最大値や最小値（すなわち閾値ＴＨ）、またはその他の演算式により導出される値を用いてもよい。
また、閾値ＴＨは、例えば、複数映像にフレーム単位の劣化を付加した際に当該劣化を検知することができる最低値（検知限）を導出する実験を行い、その実験結果に基づいて予め求めておくことができる。
また、閾値ＴＨは、例えば、複数映像にフレーム単位の劣化を付加した際に当該劣化を検知することができる最低値（検知限）を導出する実験を行い、その実験結果に基づいて予め求めておくことができる。
（ｂ）複数劣化統合ステップ
評価単位時間内において局所的な劣化が複数回発生した場合には、複数劣化統合ステップを実行し、複数の劣化強度を１つの等価的な劣化強度に統合する。具体的には、２回の局所的な劣化から得られる２つの劣化強度を、主観評価値に与える影響が等しい１回の局所的な劣化から得られる１つの劣化強度にまとめる処理を必要に応じて繰り返す。以下、複数劣化統合ステップによって統合された等価的な劣化強度を「等価劣化強度」と呼ぶことにする。例えば、図３は、図３（ａ）に示す劣化強度Ｐ1 とＰ2 とを統合し、図３（ｂ）に示す１つの等価劣化強度ＧＰとして表す様子を示している。
評価単位時間内において局所的な劣化が複数回発生した場合には、複数劣化統合ステップを実行し、複数の劣化強度を１つの等価的な劣化強度に統合する。具体的には、２回の局所的な劣化から得られる２つの劣化強度を、主観評価値に与える影響が等しい１回の局所的な劣化から得られる１つの劣化強度にまとめる処理を必要に応じて繰り返す。以下、複数劣化統合ステップによって統合された等価的な劣化強度を「等価劣化強度」と呼ぶことにする。例えば、図３は、図３（ａ）に示す劣化強度Ｐ1 とＰ2 とを統合し、図３（ｂ）に示す１つの等価劣化強度ＧＰとして表す様子を示している。
２回の局所的な劣化からそれぞれ得られた２つの劣化強度Ｐ1 ，Ｐ2 を１つの等価劣化強度ＧＰに統合する場合、等価劣化強度ＧＰは、次の式（２）から求めることができる。
ただし、Ｐ1，Ｐ2，Ｐmax，Ｐminは、それぞれ次のような意味を表す。
Ｐ1 ：１回目の局所的な劣化（劣化１）から得られた劣化強度
Ｐ2 ：２回目の局所的な劣化（劣化２）から得られた劣化強度
Ｐmax ：（Ｐ1＋Ｐ2）が一定の下でＰ1 とＰ2 の割合を変化させたときに最大となる劣化強度
Ｐmin ：（Ｐ1＋Ｐ2）が一定の下でＰ1 とＰ2 の割合を変化させたときに最小となる劣化強度
Ｐ1 ：１回目の局所的な劣化（劣化１）から得られた劣化強度
Ｐ2 ：２回目の局所的な劣化（劣化２）から得られた劣化強度
Ｐmax ：（Ｐ1＋Ｐ2）が一定の下でＰ1 とＰ2 の割合を変化させたときに最大となる劣化強度
Ｐmin ：（Ｐ1＋Ｐ2）が一定の下でＰ1 とＰ2 の割合を変化させたときに最小となる劣化強度
式（２）は、２つの劣化強度Ｐ１，Ｐ2を１の等価的な劣化強度ＧＰに統合する際に、これら２つの劣化強度の和（Ｐ1＋Ｐ2）が一定であるとしたときにそれぞれ等価劣化強度が最大、最小となる劣化強度Ｐmax、Ｐminを、２つの劣化強度Ｐ1およびＰ2の比率に基づいて重み付けするものである。すなわち、等価劣化強度ＧＰは、Ｐ1 とＰ2 の割合に依存し、両者が均等であればＰmax に近づき（劣化強度が大きくなり）、Ｐ1 とＰ2 とが非均一になるに従ってＰmin に近づく（劣化強度が小さくなる）という特性を利用して導出される。
図４を参照して上記の式（２）の意味を説明する。
図４において、横軸を２つの劣化強度（または等価劣化強度）の和、縦軸を２つの劣化強度を統合した場合の等価劣化強度とし、２つの劣化強度の和（Ｐ1＋Ｐ2）が一定であるとしたときにそれぞれ等価劣化強度が最大、最小となる劣化強度Ｐmax、Ｐminの特性を示したものである。ここでＰmax およびＰmin は、動きが一定と主観的に感じられる映像を対象とした実験で取得可能な、Ｐ1 とＰ2 の割合を変動させた場合にそれぞれ最大と最小となる劣化強度である。
ここでＰmax とＰmin の意味について補足説明すると、次のようになる。
まず、２つの劣化強度の和（Ｐ1＋Ｐ2）が一定という条件でＰ1 とＰ2 の割合を変化させ主観評価実験を行うと、その割合に応じて異なる主観評価値が得られる。これは、時間局所的な劣化が主観品質に大きな影響を与えるからであり、例えば、連続してフリーズするフレーム数が同一であるときに（フリーズの場合、フレームごとの劣化量は同じであるため、この場合はＰ1＝Ｐ2となる。）、最小の主観評価値が得られ、そこから連続してフリーズするフレーム数が増えるほど（Ｐ1＜＜Ｐ2またはＰ1＞＞Ｐ2）、主観評価値は高くなる。これを等価劣化強度に置き換えれば、図４に示すように、（Ｐ1＋Ｐ2）が一定という条件では、Ｐ1＝Ｐ2の時に最小の主観評価値、すなわち最大の等価劣化強度Ｐmax となり、Ｐ1＜＜Ｐ2（またはＰ1＞＞Ｐ2）のときに最大の主観評価値、すなわち最小の等価劣化強度Ｐmin となる。なお、（Ｐ1＋Ｐ2）が増大すれば、主観評価値は下がるので、等価劣化強度は増大することになる。
図４において、横軸を２つの劣化強度（または等価劣化強度）の和、縦軸を２つの劣化強度を統合した場合の等価劣化強度とし、２つの劣化強度の和（Ｐ1＋Ｐ2）が一定であるとしたときにそれぞれ等価劣化強度が最大、最小となる劣化強度Ｐmax、Ｐminの特性を示したものである。ここでＰmax およびＰmin は、動きが一定と主観的に感じられる映像を対象とした実験で取得可能な、Ｐ1 とＰ2 の割合を変動させた場合にそれぞれ最大と最小となる劣化強度である。
ここでＰmax とＰmin の意味について補足説明すると、次のようになる。
まず、２つの劣化強度の和（Ｐ1＋Ｐ2）が一定という条件でＰ1 とＰ2 の割合を変化させ主観評価実験を行うと、その割合に応じて異なる主観評価値が得られる。これは、時間局所的な劣化が主観品質に大きな影響を与えるからであり、例えば、連続してフリーズするフレーム数が同一であるときに（フリーズの場合、フレームごとの劣化量は同じであるため、この場合はＰ1＝Ｐ2となる。）、最小の主観評価値が得られ、そこから連続してフリーズするフレーム数が増えるほど（Ｐ1＜＜Ｐ2またはＰ1＞＞Ｐ2）、主観評価値は高くなる。これを等価劣化強度に置き換えれば、図４に示すように、（Ｐ1＋Ｐ2）が一定という条件では、Ｐ1＝Ｐ2の時に最小の主観評価値、すなわち最大の等価劣化強度Ｐmax となり、Ｐ1＜＜Ｐ2（またはＰ1＞＞Ｐ2）のときに最大の主観評価値、すなわち最小の等価劣化強度Ｐmin となる。なお、（Ｐ1＋Ｐ2）が増大すれば、主観評価値は下がるので、等価劣化強度は増大することになる。
３回以上の劣化に対しては、図３を参照すると、劣化１と劣化２に対して求めた等価劣化強度を仮想的に１回の劣化とし、その次に発生した劣化３との間で上述した式（２）に基づく計算を行うことによって、劣化を再起的に統合していき、最終的に評価単位時間中に存在するすべての劣化強度を代表する等価劣化強度ＧＰを導出することができる。
なお、劣化が存在しない場合であっても、Ｐmax ＝Ｐmin ＝［定数］の関係を保つものとする。
なお、劣化が存在しない場合であっても、Ｐmax ＝Ｐmin ＝［定数］の関係を保つものとする。
（３）シーン補正係数の導出とシーン依存／主観評価値変換
ところで、劣化の程度が同じであっても、その映像がどのようなシーン特徴量を持つかによって、主観評価値は異なってくる。等価劣化強度を用いて主観評価値を導出する際にも、同じ劣化強度であってもシーンによって体感品質に違いが生じる。そこで、本実施の形態においては、シーン特徴量導出部１４において、劣化映像信号ＩＳから劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出し（シーン特徴量導出ステップ）、シーン補正係数導出部１５において、このシーン特徴量ＳＶに基づいて、主観評価値推定部１３における劣化強度と主観評価値との対応関係のシーン依存性を補正する補正係数ＣＣを導出する（補正係数導出ステップ）ようにしている。
ところで、劣化の程度が同じであっても、その映像がどのようなシーン特徴量を持つかによって、主観評価値は異なってくる。等価劣化強度を用いて主観評価値を導出する際にも、同じ劣化強度であってもシーンによって体感品質に違いが生じる。そこで、本実施の形態においては、シーン特徴量導出部１４において、劣化映像信号ＩＳから劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出し（シーン特徴量導出ステップ）、シーン補正係数導出部１５において、このシーン特徴量ＳＶに基づいて、主観評価値推定部１３における劣化強度と主観評価値との対応関係のシーン依存性を補正する補正係数ＣＣを導出する（補正係数導出ステップ）ようにしている。
（ａ）シーン特徴量導出ステップ
シーン特徴量導出部１４は、劣化映像信号ＩＳを入力として、その劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出する。ここで「シーン特徴量」は、具体的には、映像の複雑さや動きの大きさなど、その映像そのものの特徴を表すものである。このようなシーン特徴量にも、上述した劣化量を求める際と同様に、「空間的な特徴量」および「時間的な特徴量」があり、これらの特徴量として、上述した「Spatial Information （ＳＩ）」および「Temporal Infromation（ＴＩ）」や、１つのフレームにおいてブロックごとに得られたＳＩやＴＩに対して演算を行って得られた値、例えば最大値、最小値または平均値等を用いても良い。
シーン特徴量導出部１４は、劣化映像信号ＩＳを入力として、その劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出する。ここで「シーン特徴量」は、具体的には、映像の複雑さや動きの大きさなど、その映像そのものの特徴を表すものである。このようなシーン特徴量にも、上述した劣化量を求める際と同様に、「空間的な特徴量」および「時間的な特徴量」があり、これらの特徴量として、上述した「Spatial Information （ＳＩ）」および「Temporal Infromation（ＴＩ）」や、１つのフレームにおいてブロックごとに得られたＳＩやＴＩに対して演算を行って得られた値、例えば最大値、最小値または平均値等を用いても良い。
また、フレーム単位のシーン特徴量として、上述のようにフレームごとに導出されたＳＩやＴＩ、またはこれらブロックごとに導出されたこれらの値の最大値、最小値若しくは平均値等をそのままフレーム単位のシーン特徴量とすることもできるが、１または複数のフレームからそれぞれ求めた上記の特徴量の１または複数に対してさらに演算を施して導出した値をもってフレーム単位のシーン特徴量としてもよい。
本実施の形態においては、映像のシーン特徴量を、フレームごとに得られたＳＩおよびＴＩに基づいてそれぞれ空間方向の特徴量の「空間シーン特徴量ＳＳＶ」と時間方向の特徴量の「時間シーン特徴量ＳＴＶ」とに分けて表すこととし、これらをそれぞれ下記の式（３）および式（４）にしたがって算出する。
本実施の形態においては、映像のシーン特徴量を、フレームごとに得られたＳＩおよびＴＩに基づいてそれぞれ空間方向の特徴量の「空間シーン特徴量ＳＳＶ」と時間方向の特徴量の「時間シーン特徴量ＳＴＶ」とに分けて表すこととし、これらをそれぞれ下記の式（３）および式（４）にしたがって算出する。
［ＳＳＶ］＝β1［ＳＩ］ ・・・・（３）
［ＳＴＶ］＝γ1［ＴＩ］ ・・・・（４）
［ＳＴＶ］＝γ1［ＴＩ］ ・・・・（４）
ここでβ1 ，γ1 は、特徴量として空間シーン特徴量ＳＳＶと時間シーン特徴量ＳＴＶの双方の取り得る値の範囲またはその強度を正規化するために、予め複数の映像より先見的に導出しておく係数である。本実施の形態においては、ＳＳＶとＳＴＶとをシーン特徴量ＳＶとしてシーン補正係数導出部１５に渡す。
（ｂ）シーン補正係数導出ステップ
シーン補正係数導出部１５は、シーン特徴量導出部１４から受け取ったフレーム単位のシーン特徴量ＳＶ（空間シーン特徴量ＳＳＶおよび時間シーン特徴量ＳＴＶ）を元にシーン補正係数（または「劣化補正係数」ともいう。）ＣＣを計算し、そのシーン補正係数ＣＣを主観評価値推定部１３に渡す。
シーン補正係数導出部１５は、シーン特徴量導出部１４から受け取ったフレーム単位のシーン特徴量ＳＶ（空間シーン特徴量ＳＳＶおよび時間シーン特徴量ＳＴＶ）を元にシーン補正係数（または「劣化補正係数」ともいう。）ＣＣを計算し、そのシーン補正係数ＣＣを主観評価値推定部１３に渡す。
具体的なシーン補正係数（劣化補正係数）ＣＣは、単位評価区間ごとに導出する以下のａおよびｂである。
ただし、バーＳＳＶ、バーＳＴＶは、それぞれ空間シーン特徴量ＳＳＶ、時間シーン特徴量ＳＴＶの単位評価区間における平均値を意味し、ε1 ，ε2 ，η1 ，η2 は、ＳＳＶとＳＴＶにより主観評価値推定部１３において用いる計算式で、シーン依存性を考慮して、より高い精度で主観評価値を推定できるように、特徴の異なる複数のシーン映像に劣化が加わった場合の主観評価特性からそれぞれ予め求めておく係数である。
なお、本実施の形態においては、シーン補正係数導出部１５において、補正係数を出力するものとして説明したが、主観評価値を推定する推定式を出力することも考えられる。また、主観評価値推定部１３からフレーム開始番号と単位評価時間情報とを伴った補正係数の要求が来る場合には、その要求に合わせて指定された区間のシーン補正係数（劣化補正係数）ＣＣを導出して主観評価値推定部１３に渡すようにしてもよい。
（ｃ）シーン依存／主観評価値変換ステップ
主観評価値推定部１３は、劣化強度導出部１２から受け取った等価劣化強度ＧＰとシーン補正係数導出部１５から受け取ったシーン補正係数ＣＣとに基づき、先見的に得られている等価劣化強度と主観評価値との関係を表す関係式を用いて推定主観評価値ＥＶを導出する。本実施の形態においては、等価劣化強度と主観評価値との関係を表す関係式として次のような式を用いる。
主観評価値推定部１３は、劣化強度導出部１２から受け取った等価劣化強度ＧＰとシーン補正係数導出部１５から受け取ったシーン補正係数ＣＣとに基づき、先見的に得られている等価劣化強度と主観評価値との関係を表す関係式を用いて推定主観評価値ＥＶを導出する。本実施の形態においては、等価劣化強度と主観評価値との関係を表す関係式として次のような式を用いる。
ＥＶ＝ａ×ｌｏｇ10（ＧＰ）＋ｂ ・・・・（６）
ここでａ，ｂはシーン補正係数導出部１５で導出された係数である。
図５に上記の式（６）による等価劣化強度と推定主観評価値との関係を示す。横軸が等価劣化強度、縦軸が推定主観評価値を表す。シーン依存性として、劣化が検知され易い場合（例えば、動きが大きく鮮明な映像）には係数ａで表される関係の傾きが小さく、劣化が検知されにくい場合（例えば、動きが少なくあまり鮮明でない映像）には係数ａで表される関係の傾きが大きくなる。その結果、同じ等価劣化強度ＧＰ1 に対しても、前者の場合は推定主観評価値ＥＶa 、後者の場合は推定主観評価値ＥＶb となり、前者の方が後者よりも悪い値を示すことになる。
以上のような動作により、推定主観評価値ＥＶを導出することができる。
図５に上記の式（６）による等価劣化強度と推定主観評価値との関係を示す。横軸が等価劣化強度、縦軸が推定主観評価値を表す。シーン依存性として、劣化が検知され易い場合（例えば、動きが大きく鮮明な映像）には係数ａで表される関係の傾きが小さく、劣化が検知されにくい場合（例えば、動きが少なくあまり鮮明でない映像）には係数ａで表される関係の傾きが大きくなる。その結果、同じ等価劣化強度ＧＰ1 に対しても、前者の場合は推定主観評価値ＥＶa 、後者の場合は推定主観評価値ＥＶb となり、前者の方が後者よりも悪い値を示すことになる。
以上のような動作により、推定主観評価値ＥＶを導出することができる。
［具体例］
以下に、本実施の形態にかかる映像品質評価方法により、いわゆる「フリーズ劣化」（劣化量が一定で劣化量が時間にのみ依存する場合）を対象として、主観評価値を推定した例について検討する。
この例においては、図６に示すように、劣化現象をフリーズに限定し、フリーズが発生したときのみ劣化が発生したと判断することによって、劣化量は一定としたものである。したがって、劣化強度は、フリーズしたフレームの数（フリーズフレーム数）にのみ依存する。
以下に、本実施の形態にかかる映像品質評価方法により、いわゆる「フリーズ劣化」（劣化量が一定で劣化量が時間にのみ依存する場合）を対象として、主観評価値を推定した例について検討する。
この例においては、図６に示すように、劣化現象をフリーズに限定し、フリーズが発生したときのみ劣化が発生したと判断することによって、劣化量は一定としたものである。したがって、劣化強度は、フリーズしたフレームの数（フリーズフレーム数）にのみ依存する。
図７に、この例において推定主観評価値を導出するために使用した、フリーズフレーム数と推定主観評価値との関係を示す。図７において、横軸は１回目と２回目の局所的な劣化に対応した２つの劣化強度の和（Ｐ1＋Ｐ2）であり、縦軸は推定主観評価値である。図７に示すような関係を用いれば、上述した「複数劣化統合ステップ」と「シーン依存性／主観評価値変換ステップ」とをまとめて行ったことになる。すなわち、この例では、劣化強度を導出して、主観品質値を推定したことになる。
この図７によれば、２回の劣化（フリーズ）を統合する場合に、その劣化特性は、劣化強度（ここではフリーズフレーム数）の和に依存することがわかる。さらに２回のフリーズを均等に発生させた場合（実線）と同じフリーズフレーム数のフリーズを１回で発生させた場合の関係（波線）とでは、推定主観評価値に幅があり、その幅は劣化強度の割合に依存していることがわかる。
この図７によれば、２回の劣化（フリーズ）を統合する場合に、その劣化特性は、劣化強度（ここではフリーズフレーム数）の和に依存することがわかる。さらに２回のフリーズを均等に発生させた場合（実線）と同じフリーズフレーム数のフリーズを１回で発生させた場合の関係（波線）とでは、推定主観評価値に幅があり、その幅は劣化強度の割合に依存していることがわかる。
上述した特性を用いて推定した主観評価値（推定値）と主観評価値（実測値）との関係を図８に示す。ここで検討１は、２つの劣化強度を統合する際に、単純に劣化強度の和を用いて推定主観評価値を算出した場合、検討２は２つの劣化強度の割合に応じて重み付けを行った場合に対応する。検討１および検討２は、ＲＭＳＥがそれぞれ０．１７および０．１１であり、両者はいずれも、主観評価法として使えるか否かの判断基準となる、主観評価実験における９５％信頼区間の平均値（０．２２）以内に収まっており、必要な推定精度を確保していることがわかる。
また、検討１、検討２の決定係数はそれぞれ０．５５、０．８８、相関係数は、０．７４，０，９４であり、検討２の結果の方が検討１に比べて推定精度が向上しているということができる。
また、検討１、検討２の決定係数はそれぞれ０．５５、０．８８、相関係数は、０．７４，０，９４であり、検討２の結果の方が検討１に比べて推定精度が向上しているということができる。
［第２の実施の形態］
本発明の第２の実施の形態にかかる映像品質評価装置および方法は、上述した第１の実施の形態と同じく、劣化映像のみから品質を推定するいわゆる「Ｎｏ−ｒｅｆｅｒｅｎｃｅ法（ＮＲ法）」に基づくものである。本実施の形態にかかる映像品質評価装置は、上述した第１の実施の形態にかかる映像品質評価装置と同じく、劣化映像信号ＩＳを入力として、その劣化映像のフレームごとの劣化量ＩＶを導出する劣化量導出部１１と、フレームごとの劣化量ＩＶを入力としてその時間的な変動量に基づいて劣化映像の劣化強度ＧＰを導出する劣化強度導出部１２と、劣化強度導出部１２において導出された劣化強度ＧＰと、後述するシーン補正係数ＣＣとに基づいて、シーン補正係数ＣＣごとに予め求められている劣化強度と主観評価値との対応関係と、劣化映像の主観評価値を推定する主観評価値推定部１３と、劣化映像信号ＩＳを入力として、その劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出するシーン特徴量導出部１４と、シーン特徴量ＳＶに基づいて、主観評価値推定部１３における劣化強度と主観評価値との対応関係のシーン依存性を補正する補正係数ＣＣを導出するシーン補正係数導出部１５とから構成されている。これらの基本的構成および動作は、劣化強度導出部１２における処理手順が若干異なる点を除き、第１の実施の形態と共通であるので、その詳細な説明は省略する。
本発明の第２の実施の形態にかかる映像品質評価装置および方法は、上述した第１の実施の形態と同じく、劣化映像のみから品質を推定するいわゆる「Ｎｏ−ｒｅｆｅｒｅｎｃｅ法（ＮＲ法）」に基づくものである。本実施の形態にかかる映像品質評価装置は、上述した第１の実施の形態にかかる映像品質評価装置と同じく、劣化映像信号ＩＳを入力として、その劣化映像のフレームごとの劣化量ＩＶを導出する劣化量導出部１１と、フレームごとの劣化量ＩＶを入力としてその時間的な変動量に基づいて劣化映像の劣化強度ＧＰを導出する劣化強度導出部１２と、劣化強度導出部１２において導出された劣化強度ＧＰと、後述するシーン補正係数ＣＣとに基づいて、シーン補正係数ＣＣごとに予め求められている劣化強度と主観評価値との対応関係と、劣化映像の主観評価値を推定する主観評価値推定部１３と、劣化映像信号ＩＳを入力として、その劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出するシーン特徴量導出部１４と、シーン特徴量ＳＶに基づいて、主観評価値推定部１３における劣化強度と主観評価値との対応関係のシーン依存性を補正する補正係数ＣＣを導出するシーン補正係数導出部１５とから構成されている。これらの基本的構成および動作は、劣化強度導出部１２における処理手順が若干異なる点を除き、第１の実施の形態と共通であるので、その詳細な説明は省略する。
以下に本実施の形態において推定主観評価値ＥＶを導出する方法について説明する。なお、本実施の形態においても、図２に示すように、あらかじめ定めた評価単位時間（例えば１０秒）を主観評価値の分析単位時間とするものとして説明する。しかしながら、客観評価法において特に分析単位時間に制限はなく、また、単位時間ごとに１推定主観評価値を導出しても良いし、劣化量やシーン特徴量に関して評価単位時間分をメモリに蓄積し、時間の経過に合わせて分析対象時間を移動させて推定主観評価値を導出してもよい。
本実施の形態における主観値の推定方法は、上述した第１の実施の形態にかかる主観値の推定方法と同様に、大きく分けて
（１）劣化量の推定
（２）劣化強度の導出
（３）シーン補正係数の導出とシーン依存／主観評価値変換
の手順からなる。
本実施の形態における主観値の推定方法は、上述した第１の実施の形態にかかる主観値の推定方法と同様に、大きく分けて
（１）劣化量の推定
（２）劣化強度の導出
（３）シーン補正係数の導出とシーン依存／主観評価値変換
の手順からなる。
（１）劣化量の推定
まず、劣化量導出部１１は、劣化映像に加わったフレームごとの劣化量を求める。具体的には、劣化映像（評価対象映像）信号ＩＳから、その劣化映像のフレームごとまたはフレーム間の特徴量を用いて劣化映像のフレームごとの劣化量を導出する。この劣化量推定部１１における劣化量の推定の具体的な手法については、上述した第１の実施の形態と同一であるので、その詳細な説明は省略する。
まず、劣化量導出部１１は、劣化映像に加わったフレームごとの劣化量を求める。具体的には、劣化映像（評価対象映像）信号ＩＳから、その劣化映像のフレームごとまたはフレーム間の特徴量を用いて劣化映像のフレームごとの劣化量を導出する。この劣化量推定部１１における劣化量の推定の具体的な手法については、上述した第１の実施の形態と同一であるので、その詳細な説明は省略する。
（２）劣化強度の導出
次に劣化強度導出部１２は、先に劣化量導出部１１において導出された劣化量を、１フレーム内において局所的に劣化する「空間局所的な劣化」の度合いや劣化の程度が時間的に変動する「時間局所的な劣化」の度合いを考慮して評価し、これを「劣化強度」として導出する。
本実施の形態における劣化強度の導出のステップも、第１の実施の形態と同様に、（ａ）劣化強度導出ステップと、二つの劣化強度Ｐ1,Ｐ2を一つの等価的な劣化強度ＧＰに統合する（ｂ）複数劣化統合ステップとから構成されるが、複数劣化統合ステップにおいて、第１の実施の形態では、上記（２）式に従って、２つの劣化強度Ｐ１，Ｐ2の和（Ｐ1＋Ｐ2）が一定であるとしたときにそれぞれ等価劣化強度が最大、最小となる劣化強度Ｐmax、Ｐminを、２つの劣化強度Ｐ1およびＰ2の比率に基づいて重み付けしたのに対し、本実施の形態においては、劣化強度に対する人間の感じ方に関する先見的に求められた閾値を用いて劣化強度を重み付けする点において異なる。
以下に、劣化強度導出部１２において行われる「劣化強度導出ステップ」と「複数劣化統合ステップ」とについて説明する。
次に劣化強度導出部１２は、先に劣化量導出部１１において導出された劣化量を、１フレーム内において局所的に劣化する「空間局所的な劣化」の度合いや劣化の程度が時間的に変動する「時間局所的な劣化」の度合いを考慮して評価し、これを「劣化強度」として導出する。
本実施の形態における劣化強度の導出のステップも、第１の実施の形態と同様に、（ａ）劣化強度導出ステップと、二つの劣化強度Ｐ1,Ｐ2を一つの等価的な劣化強度ＧＰに統合する（ｂ）複数劣化統合ステップとから構成されるが、複数劣化統合ステップにおいて、第１の実施の形態では、上記（２）式に従って、２つの劣化強度Ｐ１，Ｐ2の和（Ｐ1＋Ｐ2）が一定であるとしたときにそれぞれ等価劣化強度が最大、最小となる劣化強度Ｐmax、Ｐminを、２つの劣化強度Ｐ1およびＰ2の比率に基づいて重み付けしたのに対し、本実施の形態においては、劣化強度に対する人間の感じ方に関する先見的に求められた閾値を用いて劣化強度を重み付けする点において異なる。
以下に、劣化強度導出部１２において行われる「劣化強度導出ステップ」と「複数劣化統合ステップ」とについて説明する。
（ａ）劣化強度導出ステップ
このステップは、局所的に発生した劣化量をその劣化が継続した時間で重み付けするステップである。本実施の形態においても、劣化強度の考え方は、上述した第１の実施の形態と同様である。これを図３を参照して説明すると、次のようになる。
劣化強度は、図３（ａ）に示すように、劣化量に対して閾値ＴＨを設定し、劣化量が閾値ＴＨを上回ってから（Ｕ点）次にこれを下回る（Ｄ点）までを局所的な劣化が発生した区間と考える。そして、その区間のフレーム数を劣化継続時間Ｔ、その区間における劣化量の平均値を局所平均劣化量Ｓとして算出し、劣化継続時間Ｔと局所平均劣化量Ｓとを掛け合わせた値を劣化強度Ｐとして導出する。したがって、図３（ａ）に示す例においては、閾値ＴＨを超えた状態が３回あり（それぞれ「劣化１」、「劣化２」、「劣化３」と表す。））、それぞれの劣化継続時間および局所平均劣化量をＴ1，Ｔ2，Ｔ3 およびＳ1，Ｓ2，Ｓ3 とすると、１回目の劣化１から劣化強度Ｐ1＝Ｔ1×Ｓ1、２回目の劣化１から劣化強度Ｐ2＝Ｔ2×Ｓ2、３回目の劣化１から劣化強度Ｐ3＝Ｔ3×Ｓ3 が導出されることとなる。
このステップは、局所的に発生した劣化量をその劣化が継続した時間で重み付けするステップである。本実施の形態においても、劣化強度の考え方は、上述した第１の実施の形態と同様である。これを図３を参照して説明すると、次のようになる。
劣化強度は、図３（ａ）に示すように、劣化量に対して閾値ＴＨを設定し、劣化量が閾値ＴＨを上回ってから（Ｕ点）次にこれを下回る（Ｄ点）までを局所的な劣化が発生した区間と考える。そして、その区間のフレーム数を劣化継続時間Ｔ、その区間における劣化量の平均値を局所平均劣化量Ｓとして算出し、劣化継続時間Ｔと局所平均劣化量Ｓとを掛け合わせた値を劣化強度Ｐとして導出する。したがって、図３（ａ）に示す例においては、閾値ＴＨを超えた状態が３回あり（それぞれ「劣化１」、「劣化２」、「劣化３」と表す。））、それぞれの劣化継続時間および局所平均劣化量をＴ1，Ｔ2，Ｔ3 およびＳ1，Ｓ2，Ｓ3 とすると、１回目の劣化１から劣化強度Ｐ1＝Ｔ1×Ｓ1、２回目の劣化１から劣化強度Ｐ2＝Ｔ2×Ｓ2、３回目の劣化１から劣化強度Ｐ3＝Ｔ3×Ｓ3 が導出されることとなる。
なお、本実施の形態においては、劣化強度を求めるにあたり、「局所的な劣化」を表す量として、局所平均劣化量、すなわち局所的な劣化が発生した区間における劣化量の平均値Ｓを用いているが、平均値に代えて、最大値や最小値（すなわち閾値ＴＨ）、またはその他の演算式により導出される値を用いてもよいことはいうまでもない。
また、閾値ＴＨは、例えば、複数映像にフレーム単位の劣化を付加した際に当該劣化を検知することができる最低値（検知限）を導出する実験を行い、その実験結果に基づいて予め求めておくことができる。
また、閾値ＴＨは、例えば、複数映像にフレーム単位の劣化を付加した際に当該劣化を検知することができる最低値（検知限）を導出する実験を行い、その実験結果に基づいて予め求めておくことができる。
（ｂ）複数劣化統合ステップ
評価単位時間において複数回発生した劣化の劣化強度を１回で発生した劣化強度として統合するために、本実施の形態においては、２回発生した劣化をまとめて１回の劣化にする処理を繰り返すことにより等価劣化強度を導出する。
そこで、まず２回の劣化強度を１回の劣化強度にまとめる方法について説明する。本実施の形態においては、２つの劣化強度のうち第１の閾値以下の劣化強度に重みを付けて劣化強度の和をとることを特徴とする。このとき、当該劣化強度に対する重みは１未満の値とし、さらには２つの劣化強度のうち他の劣化強度が第２の閾値より大きいときは当該劣化強度に対する重みをゼロとする。
例えば、図３に示す劣化１の劣化強度Ｐ1 と劣化２の劣化強度Ｐ2とを用いて、次に示す（７）式を計算することにより等価劣化強度ＧＰを導出する。
評価単位時間において複数回発生した劣化の劣化強度を１回で発生した劣化強度として統合するために、本実施の形態においては、２回発生した劣化をまとめて１回の劣化にする処理を繰り返すことにより等価劣化強度を導出する。
そこで、まず２回の劣化強度を１回の劣化強度にまとめる方法について説明する。本実施の形態においては、２つの劣化強度のうち第１の閾値以下の劣化強度に重みを付けて劣化強度の和をとることを特徴とする。このとき、当該劣化強度に対する重みは１未満の値とし、さらには２つの劣化強度のうち他の劣化強度が第２の閾値より大きいときは当該劣化強度に対する重みをゼロとする。
例えば、図３に示す劣化１の劣化強度Ｐ1 と劣化２の劣化強度Ｐ2とを用いて、次に示す（７）式を計算することにより等価劣化強度ＧＰを導出する。
等価劣化強度 ＧＰ＝Ｐ1 ＋ｃｏｅｆ×Ｐ2 ・・・（７）
ここで、Ｐ1，Ｐ2，ｃｏｅｆは次に示すとおりである。
Ｐ1 ：１回目の劣化（劣化１）の劣化強度
Ｐ2 ：２回目の劣化（劣化２）の劣化強度
ｃｏｅｆ：劣化強度Ｐ2 に掛かる係数（重み）
Ｐ1 ：１回目の劣化（劣化１）の劣化強度
Ｐ2 ：２回目の劣化（劣化２）の劣化強度
ｃｏｅｆ：劣化強度Ｐ2 に掛かる係数（重み）
ただし、ε、γ、αはそれぞれ次に示すとおりである。
ε：劣化強度に関する第１の閾値であって、人間が劣化をその劣化強度どおりに感じるまでの値。劣化強度がこの閾値以下であれば、人間が劣化の劣化強度を軽微に感じる。この閾値εは「検知限」とも呼ばれる。この値は、予め主観評価試験により先見的に求めておく。
γ：劣化強度に関する第２の閾値であって、重み付けされた劣化強度と合計される他の劣化強度がこの値より大きくなると、新たに加わった軽微な劣化（すなわち、上記の重み付けされた劣化強度）が無視される値。この閾値γは「許容限」とも呼ばれる。この値も予め主観評価試験により先見的に求められる。
α：０より大きく１より小さい実数であって、Ｐ1がγ以下、かつＰ2がε以下の場合に、Ｐ2の等価劣化強度を求める際にその劣化強度を軽微に認識させるための係数。
上記の検知限εと許容限γと、劣化強度Ｐ1・Ｐ2と係数ｃｏｅｆの関係を図９に示す。
なお、上記の説明は、Ｐ1、Ｐ2のうち、Ｐ2が検知限ε以下であることを前提としたものであって、一般的にはＰ1とＰ2とを入れ替えることも可能である。
なお、本実施の形態においては、３回以上の劣化が発生した場合は、２回発生した劣化をまとめて１回の劣化にする処理を繰り返すので、上記のｃｏｅｆの説明において、許容限γと比較される他の劣化強度「Ｐ1」は、劣化映像（評価対象映像）信号ＩＳから上記（ａ）劣化強度導出ステップを経て得られた劣化強度の場合もあれば、（ｂ）複数劣化統合ステップを経て、２つの劣化強度を統合して得られた等価的な劣化強度ＧＰ、すなわち「合計された劣化強度」の場合もある。
ε：劣化強度に関する第１の閾値であって、人間が劣化をその劣化強度どおりに感じるまでの値。劣化強度がこの閾値以下であれば、人間が劣化の劣化強度を軽微に感じる。この閾値εは「検知限」とも呼ばれる。この値は、予め主観評価試験により先見的に求めておく。
γ：劣化強度に関する第２の閾値であって、重み付けされた劣化強度と合計される他の劣化強度がこの値より大きくなると、新たに加わった軽微な劣化（すなわち、上記の重み付けされた劣化強度）が無視される値。この閾値γは「許容限」とも呼ばれる。この値も予め主観評価試験により先見的に求められる。
α：０より大きく１より小さい実数であって、Ｐ1がγ以下、かつＰ2がε以下の場合に、Ｐ2の等価劣化強度を求める際にその劣化強度を軽微に認識させるための係数。
上記の検知限εと許容限γと、劣化強度Ｐ1・Ｐ2と係数ｃｏｅｆの関係を図９に示す。
なお、上記の説明は、Ｐ1、Ｐ2のうち、Ｐ2が検知限ε以下であることを前提としたものであって、一般的にはＰ1とＰ2とを入れ替えることも可能である。
なお、本実施の形態においては、３回以上の劣化が発生した場合は、２回発生した劣化をまとめて１回の劣化にする処理を繰り返すので、上記のｃｏｅｆの説明において、許容限γと比較される他の劣化強度「Ｐ1」は、劣化映像（評価対象映像）信号ＩＳから上記（ａ）劣化強度導出ステップを経て得られた劣化強度の場合もあれば、（ｂ）複数劣化統合ステップを経て、２つの劣化強度を統合して得られた等価的な劣化強度ＧＰ、すなわち「合計された劣化強度」の場合もある。
上記（７）式に基づく等価劣化強度ＧＰの導出を行う場合は、まず２つの劣化それぞれの劣化強度と上記第１の閾値（検知限）εとを比較する。いずれの劣化強度もεより大きければ、Ｐ1およびＰ2は重みを付けることなく（すなわちｃｏｅｆ＝１として）加算される。
いずれかの劣化強度が検知限ε以下である場合は、その劣化は人間にとって実際の劣化強度よりも軽微に感じられるので、等価劣化強度ＧＰを求めるにあたっては検知限ε以下の劣化強度（例えばＰ2）に対して重み係数ｃｏｅｆを乗じた上で他の劣化強度との和を求める。このとき、他の劣化強度Ｐ1が許容限γを超える場合は、ｃｏｅｆ＝０とすることによって、検知限ε以下の劣化強度（ここではＰ2）をもつ軽微な劣化が無視されることとなる。
いずれかの劣化強度が検知限ε以下である場合は、その劣化は人間にとって実際の劣化強度よりも軽微に感じられるので、等価劣化強度ＧＰを求めるにあたっては検知限ε以下の劣化強度（例えばＰ2）に対して重み係数ｃｏｅｆを乗じた上で他の劣化強度との和を求める。このとき、他の劣化強度Ｐ1が許容限γを超える場合は、ｃｏｅｆ＝０とすることによって、検知限ε以下の劣化強度（ここではＰ2）をもつ軽微な劣化が無視されることとなる。
（３）シーン補正係数の導出とシーン依存／主観評価値変換
劣化の程度が同じであっても、その映像がどのようなシーン特徴量を持つかによって、主観評価値は異なってくる。そこで、本実施の形態においても、シーン特徴量導出部１４において、劣化映像信号ＩＳから劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出し（シーン特徴量導出ステップ）、シーン補正係数導出部１５において、このシーン特徴量ＳＶに基づいて、主観評価値推定部１３における劣化強度と主観評価値との対応関係のシーン依存性を補正する補正係数ＣＣを導出する（補正係数導出ステップ）ようにしている。
劣化の程度が同じであっても、その映像がどのようなシーン特徴量を持つかによって、主観評価値は異なってくる。そこで、本実施の形態においても、シーン特徴量導出部１４において、劣化映像信号ＩＳから劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出し（シーン特徴量導出ステップ）、シーン補正係数導出部１５において、このシーン特徴量ＳＶに基づいて、主観評価値推定部１３における劣化強度と主観評価値との対応関係のシーン依存性を補正する補正係数ＣＣを導出する（補正係数導出ステップ）ようにしている。
本実施の形態における「シーン依存／主観評価値変換」は、第１の実施の形態において説明した「（３）シーン補正係数の導出とシーン依存／主観評価値変換」において説明した処理と同様の処理を行うことによって、推定主観評価値ＥＶを導出する。よって、シーン依存／主観評価値変換ステップに関する詳細な説明は省略する。
以上の動作により、推定主観評価値ＥＶを導出することができる。
以上の動作により、推定主観評価値ＥＶを導出することができる。
［具体例］
以下に、本実施の形態にかかる映像品質評価方法により主観評価値を推定した例について具体的に検討する。
この例は、上述した第１の実施の形態における具体例と同様、いわゆる「フリーズ劣化」を対象とし、図６に示すように、劣化現象をフリーズに限定して、フリーズが発生したときのみ劣化と判断し、各フリーズによる劣化量は一定であることを前提とした。したがって、この例においては劣化強度はフリーズフレームの数にのみ依存する。
以下に、本実施の形態にかかる映像品質評価方法により主観評価値を推定した例について具体的に検討する。
この例は、上述した第１の実施の形態における具体例と同様、いわゆる「フリーズ劣化」を対象とし、図６に示すように、劣化現象をフリーズに限定して、フリーズが発生したときのみ劣化と判断し、各フリーズによる劣化量は一定であることを前提とした。したがって、この例においては劣化強度はフリーズフレームの数にのみ依存する。
まず、各フリーズのフリーズフレーム数から等価フリーズフレーム数（等価劣化強度）を導出するプロセスは、基本的には各フリーズにおけるフリーズフレーム数の和を取ることであるが、その際に、上記「（ｂ）複数劣化統合ステップ」において述べたように、図９に示す検知限εおよび許容限γと劣化強度と係数ｃｏｅｆとの関係から求められる係数ｃｏｅｆを用いて上記（７）による重み付け演算処理を行う。しかる後に図１０に示す等価フリーズフレーム数と主観評価値との関係を利用して、主観評価値の推定を行う。
フリーズ劣化における主観評価値の推定結果を図１１に示す。
ここに示す結果のうち、検討１は、等価劣化強度を各フリーズ長の和を用いて計算した例である。これに対し、検討２は、上述した本実施の形態にかかる方法に従い、閾値ε、γに基づく条件によって等価フリーズフレーム数を求め、しかる後に図１０に示す等価フリーズフレーム数から主観評価値を計算した例である。図１１に示す検討１と検討２とでは、ＲＭＳＥが０．４４から０．２３へ、決定係数が０．７２から０．９６へ、相関係数が０．８５から０．９８へと、検知限（ε）を考慮した処理を行うことにより推定精度が大幅に改善されていることがわかる。
ここに示す結果のうち、検討１は、等価劣化強度を各フリーズ長の和を用いて計算した例である。これに対し、検討２は、上述した本実施の形態にかかる方法に従い、閾値ε、γに基づく条件によって等価フリーズフレーム数を求め、しかる後に図１０に示す等価フリーズフレーム数から主観評価値を計算した例である。図１１に示す検討１と検討２とでは、ＲＭＳＥが０．４４から０．２３へ、決定係数が０．７２から０．９６へ、相関係数が０．８５から０．９８へと、検知限（ε）を考慮した処理を行うことにより推定精度が大幅に改善されていることがわかる。
［第３の実施の形態］
本発明の第３の実施の形態にかかる映像品質評価装置および方法は、上述した第１の実施の形態と同じく、劣化映像のみから品質を推定するいわゆるＮＲ法に基づくものである。図１２は本実施の形態にかかる映像評価装置の構成を示すブロック図であり、図１と同一の構成には同一の符号を付してある。第１、第２の実施の形態と異なる点は、シーン補正係数導出部１５ａで計算した複数のシーン補正係数ＣＣの一部を劣化強度導出部１２ａに渡すことである。
本発明の第３の実施の形態にかかる映像品質評価装置および方法は、上述した第１の実施の形態と同じく、劣化映像のみから品質を推定するいわゆるＮＲ法に基づくものである。図１２は本実施の形態にかかる映像評価装置の構成を示すブロック図であり、図１と同一の構成には同一の符号を付してある。第１、第２の実施の形態と異なる点は、シーン補正係数導出部１５ａで計算した複数のシーン補正係数ＣＣの一部を劣化強度導出部１２ａに渡すことである。
以下に本実施の形態において推定主観評価値ＥＶを導出する方法について説明する。なお、本実施の形態においても、図２に示すように、あらかじめ定めた評価単位時間（例えば１０秒）を主観評価値の分析単位時間とするものとして説明する。しかしながら、客観評価法において特に分析単位時間に制限はなく、また、単位時間ごとに１推定主観評価値を導出しても良いし、劣化量やシーン特徴量に関して評価単位時間分をメモリに蓄積し、時間の経過に合わせて分析対象時間を移動させて推定主観評価値を導出してもよい。
本実施の形態における主観値の推定方法は、上述した第１の実施の形態にかかる主観値の推定方法と同様に、大きく分けて
（１）劣化量の推定
（２）劣化強度の導出
（３）シーン補正係数の導出とシーン依存／主観評価値変換
の手順からなる。
本実施の形態における主観値の推定方法は、上述した第１の実施の形態にかかる主観値の推定方法と同様に、大きく分けて
（１）劣化量の推定
（２）劣化強度の導出
（３）シーン補正係数の導出とシーン依存／主観評価値変換
の手順からなる。
（１）劣化量の推定
まず、劣化量導出部１１は、劣化映像に加わったフレームごとの劣化量を求める。具体的には、劣化映像信号ＩＳから、その劣化映像のフレームごとまたはフレーム間の特徴量を用いて劣化映像のフレームごとの劣化量を導出する。この劣化量推定部１１における劣化量の推定の具体的な手法については、上述した第１の実施の形態と同一であるので、その詳細な説明は省略する。
まず、劣化量導出部１１は、劣化映像に加わったフレームごとの劣化量を求める。具体的には、劣化映像信号ＩＳから、その劣化映像のフレームごとまたはフレーム間の特徴量を用いて劣化映像のフレームごとの劣化量を導出する。この劣化量推定部１１における劣化量の推定の具体的な手法については、上述した第１の実施の形態と同一であるので、その詳細な説明は省略する。
（２）劣化強度の導出
次に劣化強度導出部１２ａは、先に劣化量導出部１１において導出された劣化量を、１フレーム内において局所的に劣化する「空間局所的な劣化」の度合いや劣化の程度が時間的に変動する「時間局所的な劣化」の度合いを考慮して評価し、これを「劣化強度」として導出する。
本実施の形態における劣化強度の導出のステップも、第１の実施の形態と同様に、（ａ）劣化強度導出ステップと、二つの劣化強度Ｐ1,Ｐ2を一つの等価的な劣化強度ＧＰに統合する（ｂ）複数劣化統合ステップとから構成されるが、複数劣化統合ステップにおいて、第１の実施の形態では、上記（２）式に従って、２つの劣化強度Ｐ１，Ｐ2の和（Ｐ1＋Ｐ2）が一定であるとしたときにそれぞれ等価劣化強度が最大、最小となる劣化強度Ｐmax、Ｐminを、２つの劣化強度Ｐ1およびＰ2の比率に基づいて重み付けしたのに対し、本実施の形態においては、劣化強度に対する人間の感じ方に関する先見的に求められた閾値を用いて劣化強度を重み付けする点において異なる。
以下に、劣化強度導出部１２ａにおいて行われる「劣化強度導出ステップ」と「複数劣化統合ステップ」とについて説明する。
次に劣化強度導出部１２ａは、先に劣化量導出部１１において導出された劣化量を、１フレーム内において局所的に劣化する「空間局所的な劣化」の度合いや劣化の程度が時間的に変動する「時間局所的な劣化」の度合いを考慮して評価し、これを「劣化強度」として導出する。
本実施の形態における劣化強度の導出のステップも、第１の実施の形態と同様に、（ａ）劣化強度導出ステップと、二つの劣化強度Ｐ1,Ｐ2を一つの等価的な劣化強度ＧＰに統合する（ｂ）複数劣化統合ステップとから構成されるが、複数劣化統合ステップにおいて、第１の実施の形態では、上記（２）式に従って、２つの劣化強度Ｐ１，Ｐ2の和（Ｐ1＋Ｐ2）が一定であるとしたときにそれぞれ等価劣化強度が最大、最小となる劣化強度Ｐmax、Ｐminを、２つの劣化強度Ｐ1およびＰ2の比率に基づいて重み付けしたのに対し、本実施の形態においては、劣化強度に対する人間の感じ方に関する先見的に求められた閾値を用いて劣化強度を重み付けする点において異なる。
以下に、劣化強度導出部１２ａにおいて行われる「劣化強度導出ステップ」と「複数劣化統合ステップ」とについて説明する。
（ａ）劣化強度導出ステップ
このステップは、局所的に発生した劣化量をその劣化が継続した時間で重み付けするステップである。劣化強度導出部１２ａによる劣化強度導出ステップの具体的な処理は、上述した第１の実施の形態の劣化強度導出部１２の処理と同一であるので、その詳細な説明は省略する。
このステップは、局所的に発生した劣化量をその劣化が継続した時間で重み付けするステップである。劣化強度導出部１２ａによる劣化強度導出ステップの具体的な処理は、上述した第１の実施の形態の劣化強度導出部１２の処理と同一であるので、その詳細な説明は省略する。
（ｂ）複数劣化統合ステップ
評価単位時間において複数回発生した劣化の劣化強度を１回で発生した劣化強度として統合するために、本実施の形態においては、２回発生した劣化をまとめて１回の劣化にする処理を繰り返すことにより等価劣化強度を導出する。
そこで、まず２回の劣化強度を１回の劣化強度にまとめる方法について説明する。本実施の形態においては、２つの劣化強度のうち２回目の劣化強度に重みを付けて、１回目の劣化強度と２回目の劣化強度の和をとることを特徴とする。このとき、重みはシーン特徴量と２つの劣化強度の大きさに基づいて決定する。
例えば、図３に示す劣化１の劣化強度Ｐ1 と劣化２の劣化強度Ｐ2とを用いて、上記の式（７）を計算することにより等価劣化強度ＧＰを導出する。
評価単位時間において複数回発生した劣化の劣化強度を１回で発生した劣化強度として統合するために、本実施の形態においては、２回発生した劣化をまとめて１回の劣化にする処理を繰り返すことにより等価劣化強度を導出する。
そこで、まず２回の劣化強度を１回の劣化強度にまとめる方法について説明する。本実施の形態においては、２つの劣化強度のうち２回目の劣化強度に重みを付けて、１回目の劣化強度と２回目の劣化強度の和をとることを特徴とする。このとき、重みはシーン特徴量と２つの劣化強度の大きさに基づいて決定する。
例えば、図３に示す劣化１の劣化強度Ｐ1 と劣化２の劣化強度Ｐ2とを用いて、上記の式（７）を計算することにより等価劣化強度ＧＰを導出する。
ただし、本実施の形態における係数（重み）ｃｏｅｆは、主観評価試験より先見的に得られる関係式より求まる値であり、後述するシーン補正係数導出部１５ａから受け取るシーン補正係数ｃと各劣化強度Ｐ1，Ｐ2によって変化する値である。係数ｃｏｅｆの例を以下の式（９）に示す。ただし、式（９）は係数ｃｏｅｆを導出する式の一例であり、シーン補正係数ｃと劣化強度Ｐ1，Ｐ2により変動する任意の関数が適用可能である。
式（９）におけるＰthは主観評価試験により先見的に求められる閾値である。ある映像シーンの劣化強度Ｐ1，Ｐ2と係数ｃｏｅｆとの関係を図１３に示す。図１３に示すように、係数ｃｏｅｆは、２回目の劣化強度Ｐ2が増大するにつれて大きくなり、劣化強度Ｐ2が閾値Ｐth以上となる場合に、１回目の劣化強度Ｐ1の変化に対して１に収束する。異なる映像シーンの場合についても、係数ｃｏｅｆはこのような特性を持つ。
（３）シーン補正係数の導出とシーン依存／主観評価値変換
劣化の程度が同じであっても、その映像がどのようなシーン特徴量を持つかによって、主観評価値は異なってくる。そこで、本実施の形態においても、シーン特徴量導出部１４において、劣化映像信号ＩＳから劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出し（シーン特徴量導出ステップ）、シーン補正係数導出部１５ａにおいて、このシーン特徴量ＳＶに基づいて、主観評価値推定部１３における劣化強度と主観評価値との対応関係のシーン依存性を補正する補正係数ＣＣを導出する（補正係数導出ステップ）ようにしている。
劣化の程度が同じであっても、その映像がどのようなシーン特徴量を持つかによって、主観評価値は異なってくる。そこで、本実施の形態においても、シーン特徴量導出部１４において、劣化映像信号ＩＳから劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出し（シーン特徴量導出ステップ）、シーン補正係数導出部１５ａにおいて、このシーン特徴量ＳＶに基づいて、主観評価値推定部１３における劣化強度と主観評価値との対応関係のシーン依存性を補正する補正係数ＣＣを導出する（補正係数導出ステップ）ようにしている。
（ａ）シーン特徴量導出ステップ
シーン特徴量導出部１４は、劣化映像信号ＩＳを入力として、その劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出する。シーン特徴量導出部１４によるシーン特徴量導出ステップの具体的な処理は、上述した第１の実施の形態と同一であるので、その詳細な説明は省略する。
シーン特徴量導出部１４は、劣化映像信号ＩＳを入力として、その劣化映像のシーンの特徴を表すシーン特徴量ＳＶを導出する。シーン特徴量導出部１４によるシーン特徴量導出ステップの具体的な処理は、上述した第１の実施の形態と同一であるので、その詳細な説明は省略する。
（ｂ）シーン補正係数導出ステップ
シーン補正係数導出部１５ａにおいては、シーン特徴量導出部１４から受け取ったフレーム単位のシーン特徴量ＳＶ（空間シーン特徴量ＳＳＶおよび時間シーン特徴量ＳＴＶ）を元にシーン補正係数ＣＣを計算し、そのシーン補正係数ＣＣを劣化強度導出部１２ａと主観評価値推定部１３に渡す。
本実施の形態では、シーン依存性を主観評価値へより良く反映させるため、シーン補正係数ＣＣを２回に分けて主観評価値の導出に反映させることとした。具体的なシーン補正係数ＣＣとしては、単位評価区間ごとに導出するａ，ｂ，ｃがある。シーン補正係数ａ，ｂは、第１の実施の形態で述べたように等価劣化強度から主観評価値を推定する場合に用いる。シーン補正係数ｃは、式（９）に関する説明で述べたように各劣化強度から等価劣化強度を導出する際に用いる。シーン補正係数ｃを考慮することにより、シーン依存性を主観評価値に反映させることができる。シーン補正係数ｃの導出式を以下に示す。
シーン補正係数導出部１５ａにおいては、シーン特徴量導出部１４から受け取ったフレーム単位のシーン特徴量ＳＶ（空間シーン特徴量ＳＳＶおよび時間シーン特徴量ＳＴＶ）を元にシーン補正係数ＣＣを計算し、そのシーン補正係数ＣＣを劣化強度導出部１２ａと主観評価値推定部１３に渡す。
本実施の形態では、シーン依存性を主観評価値へより良く反映させるため、シーン補正係数ＣＣを２回に分けて主観評価値の導出に反映させることとした。具体的なシーン補正係数ＣＣとしては、単位評価区間ごとに導出するａ，ｂ，ｃがある。シーン補正係数ａ，ｂは、第１の実施の形態で述べたように等価劣化強度から主観評価値を推定する場合に用いる。シーン補正係数ｃは、式（９）に関する説明で述べたように各劣化強度から等価劣化強度を導出する際に用いる。シーン補正係数ｃを考慮することにより、シーン依存性を主観評価値に反映させることができる。シーン補正係数ｃの導出式を以下に示す。
シーン補正係数ｃの導出式は、特に線形関数である必要は無く、主観評価試験で求められる知見を用いて非線形関数など任意の関数を利用することも可能である。ただし、バーＳＳＶ、バーＳＴＶは、それぞれ空間シーン特徴量ＳＳＶ、時間シーン特徴量ＳＴＶの単位評価区間あたりの平均値を意味する。μ１，μ２は、ＳＳＶとＳＴＶにより主観評価値推定部１３において劣化強度の統合を行って等価劣化強度を導出する際に精度よくシーン依存性を考慮できるように、特徴の異なる複数のシーン映像に劣化が加わった場合の主観評価特性から予め導出しておく係数である。
シーン補正係数導出部１５ａは、計算したシーン補正係数ＣＣのうち係数ａ，ｂを主観評価値推定部１３に渡し、係数ｃを劣化強度導出部１２ａに渡す。
シーン補正係数導出部１５ａは、計算したシーン補正係数ＣＣのうち係数ａ，ｂを主観評価値推定部１３に渡し、係数ｃを劣化強度導出部１２ａに渡す。
なお、本実施の形態においては、シーン補正係数導出部１５ａにおいて、補正係数を出力するものとして説明したが、場合によっては主観評価値を推定する推定式を出力することも考えられる。また、主観評価値推定部１３からフレーム開始番号と単位評価時間情報とを伴った補正係数の要求が来る場合には、その要求に合わせて指定された区間のシーン補正係数ＣＣを導出して劣化強度導出部１２ａと主観評価値推定部１３に渡すようにしてもよい。
主観評価値推定部１３は、劣化強度導出部１２ａから受け取った等価劣化強度ＧＰとシーン補正係数導出部１５ａから受け取ったシーン補正係数ａ，ｂとに基づき、先見的に得られている等価劣化強度と主観評価値との関係を表す関係式を用いて推定主観評価値ＥＶを導出する。主観評価値推定部１３によるシーン依存／主観評価値変換ステップの具体的な処理は、上述した第１の実施の形態と同一であるので、その詳細な説明は省略する。
以上の動作により、推定主観評価値ＥＶを導出することができる。
以上の動作により、推定主観評価値ＥＶを導出することができる。
［具体例］
以下に、本実施の形態にかかる映像品質評価方法により主観評価値を推定した例について具体的に検討する。
この例は、上述した第１の実施の形態における具体例と同様、いわゆる「フリーズ劣化」を対象とし、図６に示すように、劣化現象をフリーズに限定して、フリーズが発生したときのみ劣化と判断し、各フリーズによる劣化量は一定であることを前提とした。したがって、この例においては劣化強度はフリーズフレームの数にのみ依存する。また、第２の実施の形態の具体例に比べて使用する映像シーンの数を２種類から２２種類に増やすと共に、等価フリーズ長を導出する際の各フリーズの重みの付け方を工夫した。
以下に、本実施の形態にかかる映像品質評価方法により主観評価値を推定した例について具体的に検討する。
この例は、上述した第１の実施の形態における具体例と同様、いわゆる「フリーズ劣化」を対象とし、図６に示すように、劣化現象をフリーズに限定して、フリーズが発生したときのみ劣化と判断し、各フリーズによる劣化量は一定であることを前提とした。したがって、この例においては劣化強度はフリーズフレームの数にのみ依存する。また、第２の実施の形態の具体例に比べて使用する映像シーンの数を２種類から２２種類に増やすと共に、等価フリーズ長を導出する際の各フリーズの重みの付け方を工夫した。
まず、各フリーズのフリーズフレーム数から等価フリーズフレーム数（等価劣化強度）を導出するプロセスは、本実施の形態の複数劣化統合ステップで示したように、各フリーズフレーム数に重みを付けて和算を取って等価フリーズフレーム数を導出し、図１０に示した等価フリーズフレーム数と主観評価値との関係を利用して主観評価値の推定を行う。
フリーズ劣化における主観評価値の推定結果を図１４に示す。ここに示す結果のうち、検討１は、等価劣化強度として単純に各フリーズ長の和を用い、図１０に示した関係により等価フリーズフレーム数（等価劣化強度）から主観評価値を計算した例である。これに対して、検討２は、本実施の形態で説明した複数劣化統合ステップにより等価フリーズフレーム数（等価劣化強度）を求め、図１０に示した関係により等価フリーズフレーム数から主観評価値を計算した例である。図１４に示す検討１と検討２とでは、ＲＭＳＥが０．６５から０．１８へ、決定係数が０．５０から０．９５へ、相関係数が０．７１から０．９７へと、推定精度が大幅に改善されていることがわかる。
また、本実施の形態の具体例の検討１は、第２の実施の形態の具体例の検討１と同様の方法で主観評価値を導出している。本実施の形態の具体例の検討１では映像シーン数が増えた影響により、第２の実施の形態の具体例の検討１よりもＲＭＳＥや相関係数が悪化しているにも関わらず、本実施の形態の具体例の検討２と第２の実施の形態の具体例の検討２を比べると、ほぼ同等の相関係数を保つと共にＲＭＳＥは本実施の形態の具体例の検討２の方が逆に向上しており、本実施の形態の有効性を示している。
［第４の実施の形態］
次に本発明の第４の実施の形態について図１５を参照して説明する。
本実施の形態にかかる映像品質評価装置および方法は、劣化映像とこの劣化映像に対応する符号化前または伝送前の基準映像の特徴量とを用いて、主観評価値を推定するものである。このような方法は、一般に「Ｒｅｄｕｃｅｄ−ｒｅｆｅｒｅｎｃｅ法（ＲＲ法）」と呼ばれる。
次に本発明の第４の実施の形態について図１５を参照して説明する。
本実施の形態にかかる映像品質評価装置および方法は、劣化映像とこの劣化映像に対応する符号化前または伝送前の基準映像の特徴量とを用いて、主観評価値を推定するものである。このような方法は、一般に「Ｒｅｄｕｃｅｄ−ｒｅｆｅｒｅｎｃｅ法（ＲＲ法）」と呼ばれる。
図１５に示すように、本実施の形態にかかる映像品質評価装置は、基準映像の特徴量情報ＡＳが劣化量導出部２１とシーン補正係数導出部２５に入力されている。また、劣化量導出部２１には、劣化映像信号ＩＳが入力されている。
劣化量導出部２１では、基準映像の特徴量情報ＡＳと劣化映像信号ＩＳとを用いて劣化映像のフレームごとの劣化量ＩＶを導出し、その値を劣化強度導出部２２に渡す。劣化強度導出部２２は、フレームごとの劣化量から劣化強度ＧＰを導出し、その値を主観評価値推定部２３に渡す。また、シーン補正係数導出部２５では、基準映像の特徴量情報ＡＳを入力とし、主観評価値推定部２３にシーン依存性を反映させるための補正係数ＣＣを導出する。主観評価値推定部２３は、劣化強度ＧＰおよびシーン補正係数ＣＣに基づいて、推定主観値ＥＶを導出する。
劣化量導出部２１では、基準映像の特徴量情報ＡＳと劣化映像信号ＩＳとを用いて劣化映像のフレームごとの劣化量ＩＶを導出し、その値を劣化強度導出部２２に渡す。劣化強度導出部２２は、フレームごとの劣化量から劣化強度ＧＰを導出し、その値を主観評価値推定部２３に渡す。また、シーン補正係数導出部２５では、基準映像の特徴量情報ＡＳを入力とし、主観評価値推定部２３にシーン依存性を反映させるための補正係数ＣＣを導出する。主観評価値推定部２３は、劣化強度ＧＰおよびシーン補正係数ＣＣに基づいて、推定主観値ＥＶを導出する。
なお、本実施の形態においては、特徴量情報ＡＳは劣化映像信号ＩＳの付随情報として含まれているものとする。また、上記の動作のために、各部において必要となるメモリを保有するものとする。
以下に本実施の形態にかかる映像評価装置の動作について説明する。なお、上述した第１の実施の形態にかかる映像評価装置と共通する部分については、適宜その説明を省略する。
まず、劣化量導出部２１は、基準映像の特徴量情報ＡＳと劣化映像信号ＩＳとを用いて劣化量を導出する。ここで、基準映像の特徴量情報ＡＳには、上述した劣化映像の特徴量と同様に、「空間的な特徴量」および「時間的な特徴量」がある。
劣化量導出部２１においては、基準映像の特徴量と同様の特徴量を劣化映像信号ＩＳから最初に計算する。このとき、これらの特徴量として、上述した「Spatial Information （ＳＩ）」および「Temporal Infromation（ＴＩ）」や、１つのフレームにおいてブロックごとに得られたＳＩやＴＩに対して演算を行って得られた値、例えば最大値、最小値または平均値等を用いても良い。
１フレームごとの劣化量として、基準映像信号の特徴量と、劣化映像信号から導出された当該フレームまたは複数フレームから導出される１種類または複数の特徴量との差分を用いる。本実施の形態においては、特徴量として当該フレームにおいてブロックごとに導出したＳＩ，ＴＩの最大値に基づき、劣化量ＩＶに対する空間方向の特徴量と時間方向の特徴量の影響を正規化するために予め導出しておいた係数を乗じて１フレームごとの劣化量を計算する。
まず、劣化量導出部２１は、基準映像の特徴量情報ＡＳと劣化映像信号ＩＳとを用いて劣化量を導出する。ここで、基準映像の特徴量情報ＡＳには、上述した劣化映像の特徴量と同様に、「空間的な特徴量」および「時間的な特徴量」がある。
劣化量導出部２１においては、基準映像の特徴量と同様の特徴量を劣化映像信号ＩＳから最初に計算する。このとき、これらの特徴量として、上述した「Spatial Information （ＳＩ）」および「Temporal Infromation（ＴＩ）」や、１つのフレームにおいてブロックごとに得られたＳＩやＴＩに対して演算を行って得られた値、例えば最大値、最小値または平均値等を用いても良い。
１フレームごとの劣化量として、基準映像信号の特徴量と、劣化映像信号から導出された当該フレームまたは複数フレームから導出される１種類または複数の特徴量との差分を用いる。本実施の形態においては、特徴量として当該フレームにおいてブロックごとに導出したＳＩ，ＴＩの最大値に基づき、劣化量ＩＶに対する空間方向の特徴量と時間方向の特徴量の影響を正規化するために予め導出しておいた係数を乗じて１フレームごとの劣化量を計算する。
［劣化量ＩＶ］
＝α1 ［ＳＩout_max−ＳＩin_max］＋α2 ［ＴＩout_max−ＴＩin_max］
・・・（１１）
＝α1 ［ＳＩout_max−ＳＩin_max］＋α2 ［ＴＩout_max−ＴＩin_max］
・・・（１１）
ここでα1およびα2は、劣化量ＩＶに対する空間方向の特徴量および時間方向の特徴量の影響をそれぞれ正規化するための係数である。これらの係数は、複数の映像に対する主観評価実験により先見的に導出されるものである。また、ＳＩin_max、ＴＩin_maxは、基準映像に対する１フレームにおけるブロックごとのＳＩ、ＴＩの最大値であり、ＳＩout_max、ＴＩout_maxは、劣化映像に対するブロックごとのＳＩ、ＴＩの最大値である。
シーン補正係数導出部２５は、基準映像の特徴量情報ＡＳをシーン特徴量ＳＶとして用いる以外は、上述した第１の実施の形態におけるシーン補正係数導出部１５と同様の動作を行う。また、劣化強度導出部２２および主観評価値推定部２３は、それぞれ第１の実施の形態における劣化強度導出部１２および主観評価値推定部１３と同様の動作を行うので、その説明を省略する。
以上のような構成により、主観評価値ＥＶを推定することができる。
以上のような構成により、主観評価値ＥＶを推定することができる。
［第５の実施の形態］
第４の実施の形態では、劣化強度導出部２２における劣化強度の導出の手法を、第１の実施の形態と同様に、２つの劣化強度Ｐ１，Ｐ2の和（Ｐ1＋Ｐ2）が一定であるとしたときに等価劣化強度がそれぞれ最大、最小となる劣化強度Ｐmax、Ｐminを、２つの劣化強度Ｐ1およびＰ2の比率に基づいて（すなわち、式（２）に従って）重み付けするものとした。これに代えて、劣化強度導出部２２における劣化強度の導出の手法として、第２の実施の形態において説明したように、劣化強度に対する人間の感じ方に関する先見的に求められた閾値（検知限ε、許容限γ）に基づいて重み係数ｃｏｅｆを決定し、２つの劣化強度Ｐ1、Ｐ2を重み付けする手法を用いてもよい。
第４の実施の形態では、劣化強度導出部２２における劣化強度の導出の手法を、第１の実施の形態と同様に、２つの劣化強度Ｐ１，Ｐ2の和（Ｐ1＋Ｐ2）が一定であるとしたときに等価劣化強度がそれぞれ最大、最小となる劣化強度Ｐmax、Ｐminを、２つの劣化強度Ｐ1およびＰ2の比率に基づいて（すなわち、式（２）に従って）重み付けするものとした。これに代えて、劣化強度導出部２２における劣化強度の導出の手法として、第２の実施の形態において説明したように、劣化強度に対する人間の感じ方に関する先見的に求められた閾値（検知限ε、許容限γ）に基づいて重み係数ｃｏｅｆを決定し、２つの劣化強度Ｐ1、Ｐ2を重み付けする手法を用いてもよい。
［第６の実施の形態］
本発明の第６の実施の形態にかかる映像品質評価装置および方法は、上述した第４の実施の形態と同じく、劣化映像とこの劣化映像に対応する符号化前または伝送前の基準映像の特徴量とを用いて主観評価値を推定するＲＲ法に基づくものである。図１６は本実施の形態にかかる映像評価装置の構成を示すブロック図であり、図１５と同一の構成には同一の符号を付してある。第４の実施の形態と異なる点は、シーン補正係数導出部２５ａで計算した複数のシーン補正係数ＣＣの一部を劣化強度導出部２２ａに渡すことである。
本発明の第６の実施の形態にかかる映像品質評価装置および方法は、上述した第４の実施の形態と同じく、劣化映像とこの劣化映像に対応する符号化前または伝送前の基準映像の特徴量とを用いて主観評価値を推定するＲＲ法に基づくものである。図１６は本実施の形態にかかる映像評価装置の構成を示すブロック図であり、図１５と同一の構成には同一の符号を付してある。第４の実施の形態と異なる点は、シーン補正係数導出部２５ａで計算した複数のシーン補正係数ＣＣの一部を劣化強度導出部２２ａに渡すことである。
以下に本実施の形態において推定主観評価値ＥＶを導出する方法について説明する。
まず、劣化量導出部２１の動作は、第４の実施の形態で説明したとおりであるので、その説明を省略する。劣化強度導出部２２ａは、上述した第３の実施の形態の劣化強度導出部１２ａと同様の動作を行う。シーン補正係数導出部２５ａは、基準映像の特徴量情報ＡＳをシーン特徴量ＳＶとして用いる以外は、第３の実施の形態の補正係数導出部１５ａと同様の動作を行う。また、主観評価値推定部２３は、第１の実施の形態の主観評価値推定部１３と同様の動作を行うので、その説明を省略する。
以上のような構成により、主観評価値ＥＶを推定することができる。
まず、劣化量導出部２１の動作は、第４の実施の形態で説明したとおりであるので、その説明を省略する。劣化強度導出部２２ａは、上述した第３の実施の形態の劣化強度導出部１２ａと同様の動作を行う。シーン補正係数導出部２５ａは、基準映像の特徴量情報ＡＳをシーン特徴量ＳＶとして用いる以外は、第３の実施の形態の補正係数導出部１５ａと同様の動作を行う。また、主観評価値推定部２３は、第１の実施の形態の主観評価値推定部１３と同様の動作を行うので、その説明を省略する。
以上のような構成により、主観評価値ＥＶを推定することができる。
［第７の実施の形態］
次に本発明の第７の実施の形態について図１７を参照して説明する。
本実施の形態にかかる映像品質評価装置および方法は、劣化映像とこの劣化映像に対応する符号化前または伝送前の基準映像とを用いて、主観評価値を推定するものである。このような方法は、一般に「Ｆｕｌｌ−ｒｅｆｅｒｅｎｃｅ法（ＦＲ法）」と呼ばれる。
次に本発明の第７の実施の形態について図１７を参照して説明する。
本実施の形態にかかる映像品質評価装置および方法は、劣化映像とこの劣化映像に対応する符号化前または伝送前の基準映像とを用いて、主観評価値を推定するものである。このような方法は、一般に「Ｆｕｌｌ−ｒｅｆｅｒｅｎｃｅ法（ＦＲ法）」と呼ばれる。
図１７に示すように、本実施の形態にかかる映像品質評価装置は、基準映像信号ＲＳが劣化量導出部３１とシーン特徴量導出部３４に入力されている。また、劣化量導出部３１には、劣化映像信号ＩＳが入力されている。
劣化量導出部２１では、基準映像信号ＲＳと劣化映像信号ＩＳとを用いて劣化映像のフレームごとの劣化量ＩＶを導出し、その値を劣化強度導出部３２に渡す。劣化強度導出部３２は、フレームごとの劣化量から劣化強度ＧＰを導出し、その値を主観評価値推定部３３に渡す。
劣化量導出部２１では、基準映像信号ＲＳと劣化映像信号ＩＳとを用いて劣化映像のフレームごとの劣化量ＩＶを導出し、その値を劣化強度導出部３２に渡す。劣化強度導出部３２は、フレームごとの劣化量から劣化強度ＧＰを導出し、その値を主観評価値推定部３３に渡す。
また、シーン特徴量導出部３４では、基準映像信号ＲＳを用いて映像のシーン依存性を反映するシーン特徴量ＳＶをフレームごとに導出し、これをシーン補正係数導出部３５に渡す。シーン補正係数導出部３５では、シーン特徴量ＳＶを入力とし、主観評価値推定部３３にシーン依存性を反映させるための補正係数ＣＣを導出する。主観評価値推定部３３は、劣化強度ＧＰおよびシーン補正係数ＣＣに基づいて、推定主観値ＥＶを導出する。
なお、本実施の形態においては、上記の動作のために、各部において必要となるメモリを保有するものとする。
なお、本実施の形態においては、上記の動作のために、各部において必要となるメモリを保有するものとする。
以下に本実施の形態にかかる映像評価装置の動作について説明する。なお、上述した第１の実施の形態にかかる映像評価装置と共通する部分については、適宜その説明を省略する。
まず、劣化量導出部３１においては、基準映像信号ＲＳと劣化映像信号ＩＳの特徴量、すなわち、「空間的な特徴量」および「時間的な特徴量」を用いて劣化映像内に含まれる劣化量を導出する。このとき、これらの特徴量として、上述した「Spatial Information （ＳＩ）」および「Temporal Infromation（ＴＩ）」や、１つのフレームにおいてブロックごとに得られたＳＩやＴＩに対して演算を行って得られた値、例えば最大値、最小値または平均値等を用いても良い。
１フレームごとの劣化量として、基準映像信号と劣化映像信号とから導出された当該フレームまたは複数フレームから導出される１種類または複数の特徴量との差分を用い、ＰＳＮＲやＡＮＳＩで規定された「Average Edge Energy」（ANSI T1.8.1.03-1996, "Digital Transport of One-Way Video signals - Parameters for Objective Performance Assessment"参照）などのパラメータを用いても良い。
まず、劣化量導出部３１においては、基準映像信号ＲＳと劣化映像信号ＩＳの特徴量、すなわち、「空間的な特徴量」および「時間的な特徴量」を用いて劣化映像内に含まれる劣化量を導出する。このとき、これらの特徴量として、上述した「Spatial Information （ＳＩ）」および「Temporal Infromation（ＴＩ）」や、１つのフレームにおいてブロックごとに得られたＳＩやＴＩに対して演算を行って得られた値、例えば最大値、最小値または平均値等を用いても良い。
１フレームごとの劣化量として、基準映像信号と劣化映像信号とから導出された当該フレームまたは複数フレームから導出される１種類または複数の特徴量との差分を用い、ＰＳＮＲやＡＮＳＩで規定された「Average Edge Energy」（ANSI T1.8.1.03-1996, "Digital Transport of One-Way Video signals - Parameters for Objective Performance Assessment"参照）などのパラメータを用いても良い。
本実施の形態においては、特徴量として当該フレームにおいてブロックごとに導出したＳＩ，ＴＩの最大値に基づき、劣化量ＩＶに対する空間方向の特徴量と時間方向の特徴量の影響を正規化するために予め導出しておいた係数を乗じて１フレームごとの劣化量を計算する。
［劣化量ＩＶ］
＝α1 ［ＳＩout_max−ＳＩin_max］＋α2 ［ＴＩout_max−ＴＩin_max］
・・・（１２）
＝α1 ［ＳＩout_max−ＳＩin_max］＋α2 ［ＴＩout_max−ＴＩin_max］
・・・（１２）
ここでα1およびα2は、劣化量ＩＶに対する空間方向の特徴量および時間方向の特徴量の影響をそれぞれ正規化するための係数である。これらの係数は、複数の映像に対する主観評価実験により先見的に導出されるものである。また、ＳＩin_max、ＴＩin_maxは、基準映像に対する１フレームにおけるブロックごとのＳＩ、ＴＩの最大値であり、ＳＩout_max、ＴＩout_maxは、劣化映像に対するブロックごとのＳＩ、ＴＩの最大値である。
本実施の形態において、シーン特徴導出部３４においては、シーン特徴量を導出する際に、劣化映像信号ＩＳに代えて基準映像信号ＲＳを用いる点を除いては、上述した第１の実施の形態と同様である。
また、劣化強度導出部３２および主観評価値推定部３３、ならびにシーン補正係数導出部３５は、それぞれ第１の実施の形態における劣化強度導出部１２および主観評価値推定部１３、ならびにシーン補正係数導出部１５と同様の動作を行うので、その説明を省略する。
以上のような構成により、主観評価値ＥＶを推定することができる。
また、劣化強度導出部３２および主観評価値推定部３３、ならびにシーン補正係数導出部３５は、それぞれ第１の実施の形態における劣化強度導出部１２および主観評価値推定部１３、ならびにシーン補正係数導出部１５と同様の動作を行うので、その説明を省略する。
以上のような構成により、主観評価値ＥＶを推定することができる。
［第８の実施の形態］
第７の実施の形態では、劣化強度導出部３２における劣化強度の導出の手法を、第１の実施の形態と同様に、２つの劣化強度Ｐ１，Ｐ2の和（Ｐ1＋Ｐ2）が一定であるとしたときに等価劣化強度がそれぞれ最大、最小となる劣化強度Ｐmax、Ｐminを、２つの劣化強度Ｐ1およびＰ2の比率に基づいて（すなわち、式（２）に従って）重み付けするものとした。これに代えて、劣化強度導出部３２における劣化強度の導出の手法として、第２の実施の形態において説明したように、劣化強度に対する人間の感じ方に関する先見的に求められた閾値（検知限ε、許容限γ）に基づいて重み係数ｃｏｅｆを決定し、２つの劣化強度Ｐ1、Ｐ2を重み付けする手法を用いてもよい。
第７の実施の形態では、劣化強度導出部３２における劣化強度の導出の手法を、第１の実施の形態と同様に、２つの劣化強度Ｐ１，Ｐ2の和（Ｐ1＋Ｐ2）が一定であるとしたときに等価劣化強度がそれぞれ最大、最小となる劣化強度Ｐmax、Ｐminを、２つの劣化強度Ｐ1およびＰ2の比率に基づいて（すなわち、式（２）に従って）重み付けするものとした。これに代えて、劣化強度導出部３２における劣化強度の導出の手法として、第２の実施の形態において説明したように、劣化強度に対する人間の感じ方に関する先見的に求められた閾値（検知限ε、許容限γ）に基づいて重み係数ｃｏｅｆを決定し、２つの劣化強度Ｐ1、Ｐ2を重み付けする手法を用いてもよい。
［第９の実施の形態］
本発明の第９の実施の形態にかかる映像品質評価装置および方法は、上述した第７の実施の形態と同じく、劣化映像とこの劣化映像に対応する符号化前または伝送前の基準映像とを用いて主観評価値を推定するＦＲ法に基づくものである。図１８は本実施の形態にかかる映像評価装置の構成を示すブロック図であり、図１７と同一の構成には同一の符号を付してある。第７の実施の形態と異なる点は、シーン補正係数導出部３５ａで計算した複数のシーン補正係数ＣＣの一部を劣化強度導出部３２ａに渡すことである。
本発明の第９の実施の形態にかかる映像品質評価装置および方法は、上述した第７の実施の形態と同じく、劣化映像とこの劣化映像に対応する符号化前または伝送前の基準映像とを用いて主観評価値を推定するＦＲ法に基づくものである。図１８は本実施の形態にかかる映像評価装置の構成を示すブロック図であり、図１７と同一の構成には同一の符号を付してある。第７の実施の形態と異なる点は、シーン補正係数導出部３５ａで計算した複数のシーン補正係数ＣＣの一部を劣化強度導出部３２ａに渡すことである。
以下に本実施の形態において推定主観評価値ＥＶを導出する方法について説明する。
まず、劣化量導出部３１の動作は、第７の実施の形態で説明したとおりであるので、その説明を省略する。劣化強度導出部３２ａは、上述した第３の実施の形態の劣化強度導出部１２ａと同様の動作を行う。シーン特徴導出部３４の動作は、第７の実施の形態で説明したとおりである。シーン補正係数導出部３５ａは、第３の実施の形態のシーン補正係数導出部１５ａと同様の動作を行う。また、主観評価値推定部３３は、第１の実施の形態の主観評価値推定部１３と同様の動作を行うので、その説明を省略する。
以上のような構成により、主観評価値ＥＶを推定することができる。
まず、劣化量導出部３１の動作は、第７の実施の形態で説明したとおりであるので、その説明を省略する。劣化強度導出部３２ａは、上述した第３の実施の形態の劣化強度導出部１２ａと同様の動作を行う。シーン特徴導出部３４の動作は、第７の実施の形態で説明したとおりである。シーン補正係数導出部３５ａは、第３の実施の形態のシーン補正係数導出部１５ａと同様の動作を行う。また、主観評価値推定部３３は、第１の実施の形態の主観評価値推定部１３と同様の動作を行うので、その説明を省略する。
以上のような構成により、主観評価値ＥＶを推定することができる。
１１，２１，３１…劣化量導出部、１２，１２ａ，２２，２２ａ，３２，３２ａ…劣化強度導出部、１３，２３，３３…主観評価値推定部、１４，３４…シーン特徴量導出部、１５，１５ａ，２５，２５ａ，３５，３５ａ…シーン補正係数導出部。
Claims (30)
- 評価対象映像に加わった劣化量のうち所定の閾値を超えた劣化量をその継続時間に応じて重み付けして前記評価対象映像の劣化強度を導出する劣化強度導出手段と、
前記評価対象映像に対して導出された複数の劣化強度から１の等価的な劣化強度を導出する等価劣化強度導出手段と、
前記１の等価的な劣化強度と、予め求められている劣化強度と主観評価値との対応関係とに基づいて前記評価対象映像の主観評価値を推定する主観評価値推定手段と
を備えることを特徴とする映像品質評価装置。 - 請求項１に記載された映像品質評価装置において、
前記等価劣化強度導出手段は、
２つの劣化強度を１の等価的な劣化強度に統合する処理を少なくとも１回は行う
ことを特徴とする映像品質評価装置。 - 請求項１または２に記載された映像品質評価装置において、
前記等価劣化強度導出手段は、
２つの劣化強度のうち第１の閾値以下の劣化強度に重みを付けて前記複数の劣化強度の和をとる
ことを特徴とする映像品質評価装置。 - 請求項３に記載された映像品質評価装置において、
前記等価劣化強度導出手段は、
前記第１の閾値以下の劣化強度に重みを付けて和をとる場合、前記重みは１未満の値とし、前記２つの劣化強度のうち他の劣化強度が第２の閾値より大きいときは前記重みをゼロとする
ことを特徴とする映像品質評価装置。 - 請求項２に記載された映像品質評価装置において、
前記等価劣化強度導出手段は、
２つの劣化強度を１の等価的な劣化強度に統合する処理において、前記２つの劣化強度の和が一定としたときの最大の劣化強度および最小の劣化強度を前記２つの劣化強度の比率に基づいて重み付けする
ことを特徴とする映像品質評価装置。 - 請求項１乃至５のいずれか１つに記載された映像品質評価装置において、
前記評価対象映像のみを用いて、前記評価対象映像の特徴量の映像の劣化に関する劣化特徴量からその評価対象映像のフレーム単位の劣化量を導出する劣化量導出手段を備える
ことを特徴とする映像品質評価装置。 - 請求項６に記載された映像品質評価装置において、
前記劣化量導出手段は、前記評価対象映像のフレームごとまたはフレーム間の空間的な特徴量と時間的な特徴量とを用いる
ことを特徴とする映像品質評価装置。 - 請求項６または７に記載された映像品質評価装置において、
前記評価対象映像のシーンの特徴を表すシーン特徴量を導出するシーン特徴量導出手段をさらに備え、
前記主観評価値推定手段は、
前記シーン特徴量に対する前記相関関係の依存性を考慮して前記評価対象映像の主観評価値を推定する
ことを特徴とする映像品質評価装置。 - 請求項８に記載された映像品質評価装置において、
前記シーン特徴量導出手段は、
前記シーン特徴量として前記評価対象映像のフレームごとまたはフレーム間の空間的な特徴量と時間的な特徴量を用いる
ことを特徴とする映像品質評価装置。 - 請求項１乃至５のいずれか１つに記載された映像品質評価装置において、
前記評価対象映像とこの評価対象映像に対応する符号化前または伝送前の基準映像の特徴量とを用いて、前記評価対象映像の特徴量の映像の劣化に関する劣化特徴量と前記基準映像の特徴量とからその評価対象映像のフレーム単位の劣化量を導出する劣化量導出手段を備える
ことを特徴とする映像品質評価装置。 - 請求項１乃至５のいずれか１つに記載された映像品質評価装置において、
前記評価対象映像とこの評価対象映像に対応する符号化前または伝送前の基準映像とを用いて、前記評価対象映像の特徴量の映像の劣化に関する劣化特徴量と前記基準映像の特徴量とからその評価対象映像のフレーム単位の劣化量を導出する劣化量導出手段を備える
ことを特徴とする映像品質評価装置。 - 請求項１０または１１に記載された映像品質評価装置において、
前記劣化量導出手段は、前記評価対象映像および前記基準映像のフレームごとまたはフレーム間の空間的な特徴量と時間的な特徴量とを用いる
ことを特徴とする映像品質評価装置。 - 請求項１０乃至１２のいずれか１つに記載された映像品質評価装置において、
前記基準映像のシーンの特徴を表すシーン特徴量を導出するシーン特徴量導出手段をさらに備え、
前記主観評価値推定手段は、
前記シーン特徴量に対する前記相関関係の依存性を考慮して前記評価対象映像の主観評価値を推定する
ことを特徴とする映像品質評価装置。 - 請求項１３に記載された映像品質評価装置において、
前記シーン特徴量導出手段は、
前記シーン特徴量として前記基準映像のフレームごとまたはフレーム間の空間的な特徴量と時間的な特徴量を用いる
ことを特徴とする映像品質評価装置。 - 請求項２に記載された映像品質評価装置において、
前記評価対象映像のシーンの特徴を表すシーン特徴量を導出するシーン特徴量導出手段をさらに備え、
前記等価劣化強度導出手段は、前記シーン特徴量と前記２つの劣化強度の大きさに基づいて前記２つの劣化強度に対する重みを決定し、この重みを付けて前記２つの劣化強度の和をとることを特徴とする映像品質評価装置。 - 評価対象映像の特徴量のうち映像の劣化に関する劣化特徴量からその評価対象映像のフレーム単位の劣化量を導出する劣化量導出ステップと、
前記フレーム単位の劣化量のうち所定の閾値を超えた劣化量をその継続時間に応じて重み付けして前記評価対象映像の劣化強度を導出する劣化強度導出ステップと、
前記評価対象映像に対して導出された複数の劣化強度から１の等価的な劣化強度を導出する等価劣化強度導出ステップと、
前記１の等価的な劣化強度と、予め求められている劣化強度と主観評価値との対応関係とに基づいて前記評価対象映像の主観評価値を推定する主観評価値推定ステップと
を備えることを特徴とする映像品質評価方法。 - 請求項１６に記載された映像品質評価方法において、
前記等価劣化強度導出ステップは、
２つの劣化強度を１の等価的な劣化強度に統合する処理を少なくとも１回は行う
ことを特徴とする映像品質評価方法。 - 請求項１６または１７に記載された映像品質評価方法において、
前記等価劣化強度導出ステップは、
２つの劣化強度のうち第１の閾値以下の劣化強度に重みを付けて前記複数の劣化強度の和をとる
ことを特徴とする映像品質評価方法。 - 請求項１８に記載された映像品質評価方法において、
前記等価劣化強度導出ステップは、
前記第１の閾値以下の劣化強度に重みを付けて和をとる場合、前記重みは１未満の値とし、前記２つの劣化強度のうち他の劣化強度が第２の閾値より大きいときは前記重みをゼロとする
ことを特徴とする映像品質評価方法。 - 請求項１７に記載された映像品質評価方法において、
前記等価劣化強度導出ステップは、
２つの劣化強度を１の等価的な劣化強度に統合する処理において、前記２つの劣化強度の和が一定としたときの最大の劣化強度および最小の劣化強度を前記２つの劣化強度の比率に基づいて重み付けする
ことを特徴とする映像品質評価方法。 - 請求項１６乃至２０のいずれか１つに記載された映像品質評価方法において、
前記劣化量導出ステップは、前記評価対象映像のフレームごとまたはフレーム間の空間的な特徴量と時間的な特徴量とを用いる
ことを特徴とする映像品質評価方法。 - 請求項１６乃至２１のいずれか１つに記載された映像品質評価方法において、
前記評価対象映像のシーンの特徴を表すシーン特徴量を導出するシーン特徴量導出ステップをさらに備え、
前記主観評価値推定ステップは、
前記シーン特徴量に対する前記相関関係の依存性を考慮して前記評価対象映像の主観評価値を推定する
ことを特徴とする映像品質評価方法。 - 請求項２２に記載された映像品質評価方法において、
前記シーン特徴量導出ステップは、
前記シーン特徴量として前記評価対象映像のフレームごとまたはフレーム間の空間的な特徴量と時間的な特徴量を用いる
ことを特徴とする映像品質評価方法。 - 請求項１６乃至２０のいずれか１つに記載された映像品質評価方法において、
前記劣化量導出ステップは、前記評価対象映像とこの評価対象映像に対応する符号化前または伝送前の基準映像の特徴量とを用いて、前記評価対象映像の特徴量の映像の劣化に関する劣化特徴量と前記基準映像の特徴量とからその評価対象映像のフレーム単位の劣化量を導出する
ことを特徴とする映像品質評価方法。 - 請求項１６乃至２０のいずれか１つに記載された映像品質評価方法において、
前記劣化量導出ステップは、前記評価対象映像とこの評価対象映像に対応する符号化前または伝送前の基準映像とを用いて、前記評価対象映像の特徴量の映像の劣化に関する劣化特徴量と前記基準映像の特徴量とからその評価対象映像のフレーム単位の劣化量を導出する
ことを特徴とする映像品質評価方法。 - 請求項２４または２５に記載された映像品質評価方法において、
前記劣化量導出ステップは、前記評価対象映像および前記基準映像のフレームごとまたはフレーム間の空間的な特徴量と時間的な特徴量とを用いる
ことを特徴とする映像品質評価方法。 - 請求項２４乃至２６のいずれか１つに記載された映像品質評価方法において、
前記基準映像のシーンの特徴を表すシーン特徴量を導出するシーン特徴量導出ステップをさらに備え、
前記主観評価値推定ステップは、
前記シーン特徴量に対する前記相関関係の依存性を考慮して前記評価対象映像の主観評価値を推定する
ことを特徴とする映像品質評価方法。 - 請求項２７に記載された映像品質評価方法において、
前記シーン特徴量導出ステップは、
前記シーン特徴量として前記基準映像のフレームごとまたはフレーム間の空間的な特徴量と時間的な特徴量を用いる
ことを特徴とする映像品質評価方法。 - 請求項１７に記載された映像品質評価方法において、
前記評価対象映像のシーンの特徴を表すシーン特徴量を導出するシーン特徴量導出ステップをさらに備え、
前記等価劣化強度導出ステップは、前記シーン特徴量と前記２つの劣化強度の大きさに基づいて前記２つの劣化強度に対する重みを決定し、この重みを付けて前記２つの劣化強度の和をとることを特徴とする映像品質評価方法。 - 請求項１６乃至２９のいずれか１つに記載の各ステップをコンピュータに実行させることを特徴とする映像品質評価プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006005822A JP4514155B2 (ja) | 2005-03-04 | 2006-01-13 | 映像品質評価装置、方法およびプログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005060895 | 2005-03-04 | ||
| JP2005197128 | 2005-07-06 | ||
| JP2006005822A JP4514155B2 (ja) | 2005-03-04 | 2006-01-13 | 映像品質評価装置、方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007043642A JP2007043642A (ja) | 2007-02-15 |
| JP4514155B2 true JP4514155B2 (ja) | 2010-07-28 |
Family
ID=37801177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006005822A Active JP4514155B2 (ja) | 2005-03-04 | 2006-01-13 | 映像品質評価装置、方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4514155B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009260941A (ja) * | 2008-03-21 | 2009-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質客観評価方法、映像品質客観評価装置、及びプログラム |
| CN101626506B (zh) | 2008-07-10 | 2011-06-01 | 华为技术有限公司 | 一种视频码流的质量评估方法、装置及系统 |
| JP2011114444A (ja) | 2009-11-25 | 2011-06-09 | Fujitsu Ltd | 情報処理装置，情報生成方法，およびプログラム |
| PT2701397E (pt) * | 2012-08-20 | 2014-12-12 | Deutsche Telekom Ag | Modelo de qualidade de vídeo dependente do conteúdo para serviços de fluxo de vídeo |
| JP6162596B2 (ja) * | 2013-12-24 | 2017-07-12 | 日本電信電話株式会社 | 品質推定装置、方法及びプログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004072178A (ja) * | 2002-08-01 | 2004-03-04 | Nippon Telegr & Teleph Corp <Ntt> | 許容パケット損失率決定装置及びそのプログラム |
| WO2005020592A1 (ja) * | 2003-08-22 | 2005-03-03 | Nippon Telegraph And Telephone Corporation | 映像品質評価装置、映像品質評価方法及び映像品質評価プログラム、並びに映像整合装置、映像整合方法及び映像整合プログラム |
-
2006
- 2006-01-13 JP JP2006005822A patent/JP4514155B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004072178A (ja) * | 2002-08-01 | 2004-03-04 | Nippon Telegr & Teleph Corp <Ntt> | 許容パケット損失率決定装置及びそのプログラム |
| WO2005020592A1 (ja) * | 2003-08-22 | 2005-03-03 | Nippon Telegraph And Telephone Corporation | 映像品質評価装置、映像品質評価方法及び映像品質評価プログラム、並びに映像整合装置、映像整合方法及び映像整合プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007043642A (ja) | 2007-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5496914B2 (ja) | 知覚上の品質を評価する方法 | |
| US8488915B2 (en) | Automatic video quality measurement system and method based on spatial-temporal coherence metrics | |
| JP4733049B2 (ja) | 映像品質客観評価装置、評価方法およびプログラム | |
| Søgaard et al. | Applicability of existing objective metrics of perceptual quality for adaptive video streaming | |
| US9497468B2 (en) | Blur measurement in a block-based compressed image | |
| KR101327709B1 (ko) | 비디오 품질 측정 장치 및 그 방법 | |
| JP4514155B2 (ja) | 映像品質評価装置、方法およびプログラム | |
| WO2005060272A1 (en) | Image and video quality measurement | |
| EP2400758A1 (en) | Method to Determine The Global Quality of a Video Stream | |
| Konuk et al. | A spatiotemporal no-reference video quality assessment model | |
| US9723301B2 (en) | Method and apparatus for context-based video quality assessment | |
| KR20150034723A (ko) | 비트스트림 레벨에서 비디오 품질 평가 | |
| Goudarzi | A no-reference low-complexity QoE measurement algorithm for H. 264 video transmission systems | |
| EP2954677B1 (en) | Method and apparatus for context-based video quality assessment | |
| Alvarez et al. | A flexible QoE framework for video streaming services | |
| JP4527699B2 (ja) | 映像品質客観評価装置、方法およびプログラム | |
| KR100612667B1 (ko) | 예측치 보정을 이용한 동영상 화질 평가장치 및 방법 | |
| Stanojević et al. | The impact of quality of service parameters to the subjective and objective video quality assessment | |
| WO2009007133A2 (en) | Method and apparatus for determining the visual quality of processed visual information | |
| Shi et al. | A user-perceived video quality assessment metric using inter-frame redundancy | |
| JP2008301027A (ja) | 映像品質推定方法および装置 | |
| Tian et al. | Analysis and modelling of no-reference video quality assessment | |
| Roja et al. | Saliency based assessment of videos from frame-wise quality measures | |
| Rahman et al. | Reduced-reference Video Quality Metric Using Spatio-temporal Activity Information | |
| Rahman et al. | No-reference spatio-temporal activity difference PSNR estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100408 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100506 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100507 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4514155 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140521 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |