JP5043856B2

JP5043856B2 - 映像品質測定

Info

Publication number: JP5043856B2
Application number: JP2008543884A
Authority: JP
Inventors: デイビス、アンドリュー・ゴードン
Original assignee: British Telecommunications PLC
Current assignee: British Telecommunications PLC
Priority date: 2005-12-05
Filing date: 2006-11-07
Publication date: 2012-10-10
Anticipated expiration: 2026-11-07
Also published as: CA2632403C; EP1958454B1; WO2007066066A2; CN101356827B; US20080317111A1; CA2632403A1; WO2007066066A3; US8254438B2; EP1958454A2; CN101356827A; JP2009518915A

Description

この発明は、映像品質測度、特に映像信号が圧縮アルゴリズムを用いて符号化される場合の映像品質測度に関する。

映像信号がある位置から別の位置に送信されることになっている場合、符号化アルゴリズムを用いてその信号を、符号化された信号が符号化されない場合に要求される帯域幅より小さな帯域幅を用いて送信されることが可能になるように、符号化または圧縮することが知られている。受信の際は、符号化された信号が復号されて元の信号を取り出す。多くの符号化技術では、２次元コサイン変形が行なわれる。その結果、一連の変換係数が得られ、この変形係数の大きさが量子化される。この結果、帯域幅が効率的に割り当てられることが可能になる。量子化の粒度、すなわちステップ・サイズは変えられることが可能になっている。

映像シーケンスを符号化したり復号したりする処理によって、歪みが導入されたり、そうでなければ、信号の品質が悪化し得る。歪みのレベルを測定する１つの方法は、歪められた映像シーケンス内の知覚可能な歪みのレベルに関して視聴者の見解に注意すること、およびその結果を平均して平均オピニオン値（Mean Opinion Score）（ＭＯＳ）を得ることを含んでいる。しかしながら、これは時間のかかる処理であり得る。その結果、視聴者が映像シーケンス内の知覚するであろう品質の損失を予測することが望ましいかもしれない。符号化／復号および送信処理の結果の映像品質が低下したことは、元のシーケンスを参照することによって知ることができるが、そのようなアプローチは多くの場合、不便である。

本発明の第１の態様によれば、複数のフレームを表す映像信号の品質の測定値を生成するための方法であって、前記映像信号は元の形態と符号化された形態と復号された形態とを有し、前記符号化された形態では前記符号化された信号がそれと関連する量子化器ステップ・サイズ・パラメータを有するように可変の量子化器ステップ・サイズを用いる圧縮アルゴリズムを用いて前記映像信号が符号化されており、前記復号された形態では前記符号化された映像信号の少なくとも一部が前記元の形態へと再変換されており、ａ）前記量子化器ステップ・サイズ・パラメータの関数である第１品質測定値を生成することと、ｂ）前記復号された形態の前記映像信号によって表されるフレームの少なくとも一部における空間上の複雑度の関数である第２品質測定値を生成することと、ｃ）前記第１、第２測定値を組み合わせることと、を具備する方法が提供される。

ステップ・サイズが符号化された映像シーケンスから導出可能であるので、また複雑度（complexity measure）が復号された信号から得られるので、元の映像信号を参照する必要度が減少する。さらに、ステップ・サイズは多くの符号化の仕組みにおいて映像シーケンスとともにパラメータとして送信されるので、このパラメータを新たに算出する必要なしに、好都合なことにこのパラメータを用いて映像品質を予測することができる。重要なことに、複雑度をステップ・サイズと組み合わせて用いることによって、品質の測定値（測度、値、measure）の信頼性を、映像品質の指標としてのステップ・サイズまたは複雑度のみの信頼性から単に期待されるよりも、改善することが分かった。

本発明の第２の態様によれば、複数のフレームを表す映像信号の品質の測定値を生成するための装置であって、前記映像信号は元の形態と符号化された形態と復号された形態とを有し、前記符号化された形態では前記符号化信号がそれと関連する量子化器ステップ・サイズ・パラメータを有するように可変の量子化器ステップ・サイズを用いる圧縮アルゴリズムを用いて前記映像信号が符号化されており、前記復号された形態では前記符号化された信号が少なくとも一部が前記元の形態へと再変換されており、ａ）前記量子化器ステップ・サイズ・パラメータの関数である第１品質測定値を生成するための手段と、ｂ）前記復号された形態の前記映像信号によって表現されるフレームの少なくとも一部における空間上の複雑度の関数である第２品質測定値を生成するための手段と、ｃ）前記映像信号の品質の前記測定値を生成するために前記第１、第２測定値を組み合わせる手段と、を具備する装置が提供される。

本発明が、図面を参照してあくまで例として次にさらに説明される。

一実施形態の概要
下記の実施形態は、ノーリファレンス型の、復号器に基づいた映像品質評価ツールに関する。このツール向けのアルゴリズムは、映像復号器内で動作することが可能であって、復号されたマクロブロックの各々についての量子化器ステップ・サイズ・パラメータ（通常、入来する符号化された映像ストリームに含まれている変数である）および復号された画像の各々についてのピクセル強度値を用いて、復号された映像の主観品質を推定する。スライディング・ウィンドウ平均ピクセル強度差（ピクセル・コントラスト測定値）の算出が、各復号されたピクセルに対して各フレームについて行なわれ、結果得られる平均（ＴＣＦ）は、映像の雑音マスキング特性の測定値として用いられる。次に、品質の推定値が、ＴＣＦのパラメータの重み関数およびステップ・サイズ・パラメータの平均から作製される。重み関数は、復号されたシーケンスの特性のトレーニング・データ・ベースに対する多重回帰分析およびこのシーケンスに対する取得済みの主観的なスコアによって予め決定されている。一方でステップ・サイズ、他方でスライディング・ウィンドウ平均ピクセル強度差測定値を組み合わせて用いて複雑度を推定することによって、主観的な品質の良好な推定値が提供される。

原則として、用いられる測定処理は、変換符号化を用いるとともに可変の量子化器ステップ・サイズを有する圧縮技術を用いて符号化された映像信号に一般に適用可能である。しかしながら、以下に説明される形態は、Ｈ．２６４規格に従って符号化された信号とともに用いられように設計されている。（以下に説明される形態は、Ｈ．２６４の映像コーデックに基づくが、Ｈ．２６１、Ｈ．２６３、（フレームに基づいた）ＭＰＥＧ２等のような他のＤＣＴに基づいた標準的なコーデックにも当てはまる。）
本測定法は、非干渉性（non-intrusive）または「ノーリファレンス」型であり、すなわち、本測定法は元の信号の複製にアクセスする必要はない。本方法は、適切な復号器内での使用に合わせて設計されている。本方法は、符号化されたビットストリームからのパラメータおよび復号された映像画像の両方へのアクセスを必要とするからである。

図１に示されている装置では、入来する信号は入力１で受け取られ、各画像についての以下のパラメータを復号して出力する映像復号器へと渡る。

復号された画像（Ｄ）
ピクセル単位の水平方向における復号された画像の大きさ（Ｐ_ｘ）
ピクセル単位の垂直方向における復号された画像の大きさ（Ｐ_ｙ）
マクロブロック単位の水平方向における復号された画像の大きさ（Ｍ_ｘ）
マクロブロック単位の垂直方向における復号された画像の大きさ（Ｍ_ｙ）
量子化器ステップ・サイズ・パラメータの組（Ｑ）
本装置には２つの分析経路がある。これらの分析経路は、画像平均された量子化器ステップ・サイズ信号ＱＰＦを計算すること（ユニット３）および画像平均されたコントラスト測定値ＣＦを計算すること（ユニット４）に資する。次に、ユニット５は、信号ＱＰＦおよびＣＦを時間平均して、それぞれＴＱＰＦとＴＣＦを与える。最後に、これらの信号はユニット６で組み合わせられて、復号された映像シーケンスＤについての主観的な品質推定値ＰＭＯＳを与える。要素３乃至６は個々のハードウェア要素によって実現されることが可能であるが、より便利な実現方法は適切にプログラムされたプロセッサを用いて、それらの段階をすべて行なうことである。

画像平均Ｑ
これは、復号器から出力される量子化器ステップ・サイズ信号Ｑを用いる。Ｑは現在の復号された画像の各マクロブロックについての、１つの量子化器ステップ・サイズ・パラメータ値ＱＰを含んでいる。Ｈ．２６４については、量子化器パラメータＱＰは、変換係数を符号化するために用いられる線形量子化の間隔ＱＳＴＥＰを定義する。実際、ＱＰは、所定の間隔の表にインデックスを付ける（index)。この表において、ＱＰが６増加するごとに、ＱＳＴＥＰはその大きさが２倍になる。画像平均量子化器パラメータＱＰＦは、以下に従って、ユニット３で計算される。

ここで、ＭｘおよびＭｙは、それぞれ画像内の水平方向マクロブロックおよび垂直方向マクロブロックの数であり、Ｑ（ｉ，ｊ）は、位置（ｉ，ｊ）のマクロブロックについての量子化器ステップ・サイズ・パラメータである。

コントラスト測定値の計算
図２は、水平方向における大きさがピクセルＰｘ個で垂直方向における大きさがピクセルＰｙ個の画像内の位置（ｘ，ｙ）のピクセルｐ（ｘ，ｙ）についてのコントラスト測定値がどのように計算されるかを例示している。

水平方向コントラスト測定値を計算するための分析法が図２に示されている。ここで、コントラスト測定値は、影を付された領域によって示されているピクセルｐ（ｘ，ｙ）に関して計算される。等しい大きさの隣接する領域が選択されており、そのうちの１つが先の影を付されたピクセルを含んでいる。各領域は、影付きピクセルが位置する行（列）からの（好ましくは連続する）ピクセルの組から形成されている。各領域内のピクセル強度は平均され、また、この平均の差の絶対値が、続いて下記の等式（２）に従って計算される。コントラスト測定値は、この差の値である。図３に示されているように、垂直方向コントラスト測定値は同様の方法で計算される。ここで、ピクセルの高位側の組およびピクセルの低位側の組が選択される。選択されたピクセルの各々は、同じ列上にある。影付きピクセルは、高位側の組と低位側の組との境界の隣に位置する。高位側、低位側の組内のピクセルの強度が平均され、次いで各組の平均強度の差が求められる。この差の絶対値が、下記の等式（３）において示されている垂直方向コントラストの測定値、すなわち垂直方向でのコントラストの測定値である。本例では、影付きピクセルは低位側の組に含まれている。しかしながら、影付きピクセルが比較されているピクセルの組によって共有される境界の近くにあれば、コントラスト測定値が関連付けされる影付きピクセルの位置は任意である。

したがって、水平方向コントラスト測定値を得るために、長さＨの行部分が比較され、他方、垂直方向コントラスト測定値を得るために、長さＶの列部分が比較される（長さＨおよびＶは同じかもしれないが、そうであることは必須ではない）。コントラスト測定値は、一方で行部分と他方で列部分と共通の境界に位置するピクセルと関連を有している。

次に、このように算出された水平方向コントラスト測定値および垂直方向コントラスト測定値が比較され、２つの値のうちの大きい方（等式（４）中で測定されているように水平垂直測定値と称される）が影付きピクセルと関連付けされて、メモリ内に保存される。この手続きは、画像内の（画像の垂直方向の端および水平方向の端からのそれぞれ垂直方向距離Ｖおよび水平方向距離Ｈの範囲内の）各ピクセルについて繰り返されて、これによって、ＨまたはＶのウィンドウ・サイズでピクセルに対するスライディング・ウィンドウ分析が行なわれる。次に、画像（フレーム）内の各ピクセルについての水平垂直測定値が平均されて、全体のピクセル差測定値ＣＦ（等式（５）を参照）が与えられる。次に、各画像に関連するこの全体的な測定値が複数の画像に亘って平均されて、シーケンス平均された測定値、すなわち、等式（７）に従った時間平均ＴＣＦが得られる。全体的（ＣＦ）測定値が平均される画像の数は、映像シーケンスの性質および場面変化の間の時間に依存し、数秒の長さであり得る。明らかに、特に量子化器ステップ・サイズが画像を跨いで変化する場合、画像の一部のみ、このように分析されることが必要である。

画像内の異なる位置でのコントラストを測定するとともに平均することによって、画像の複雑度の簡単な測定値が得られる。画像内の複雑度が歪みを見えなくするとともにそれによって画像が所与の歪みについてより良好な品質であると視聴者が信じることになる場合があるので、画像内の複雑度の程度が、視聴者が映像信号に関連付ける品質の主観的な程度を一部予測するために用いられることが可能である。

影付きピクセルに関する各領域の幅（Ｈ）または高さ（Ｖ）は、視聴者がどの程度細かく複雑度に気づくかと関係がある。したがって、画像が遠くから視聴されることになっていれば、ＨとＶは視聴者が画像に接近するであろうことが予想される状況よりも大きい値であるように選択されるであろう。一般に、画像からの視聴者にとって快適な距離が画像の大きさに依存するので、ＨとＶの大きさもピクセルの大きさおよびピクセル寸法に依存するであろう（より大きなディスプレイは典型的にはより多いピクセルではなくより大きなピクセルを有するであろう。ただし、所与のピクセル密度についてはディスプレイの大きさも要因であり得る）。典型的には、ＨおよびＶの各々が、画像の各寸法の０．５％乃至２％であろうことが予想される。例えば、水平方向に７２０個のピクセルがあるとともに平均のための組の各々が４個のピクセルを含んでいる場合、水平方向の値は４＊１００／７２０＝０．５６％であり、垂直方向において５７６個のピクセルがある場合、４＊１００／５７６＝０．６９％であり得る。

コントラスト測定値を算出するための分析は、下記の等式を参照して以下のように記述されることが可能である。この計算は、復号された映像画像Ｄを用い、各画像についての画像平均された複雑度ＣＦを割り出す。ＣＦは、復号された映像画像についてのスライディング・ウィンドウ・ピクセル分析をまず行なうことにより割り出される。水平方向がＰｘ個のピクセルで垂直方向がＰｙ個のピクセルの大きさの画像内のピクセルｐ（ｘ，ｙ）についての水平方向分析を示す図２において、水平方向コントラスト測定値Ｃ_ｈは、復号されたシーケンスＤのｎ番目の画像について、以下に従って計算される。

Ｈは水平方向ピクセル分析用のウィンドウ長さである。Ｃ_ｈ（ｎ，ｘ，ｙ）は、映像シーケンスＤのｎ番目の画像のピクセル（ｘ，ｙ）についての水平方向コントラスト・パラメータである。Ｄ（ｎ，ｘ，ｙ）は、映像シーケンスＤのｎ番目の画像のピクセル（ｘ，ｙ）についての強度である。

対応する垂直方向ピクセル分析を示す図３において、垂直方向コントラスト測定値Ｃ_ｖは、以下によって算出される。

ここで、Ｖは垂直方向ピクセル分析用のウィンドウ長さである。

次に、Ｃ_ｈおよびＣ_ｖが組み合わせられて、水平垂直測定値Ｃ_ｈｗが与えられる。

適用形態によっては、水平方向成分と垂直方向成分とを分離したままにして異なった重み付けパラメータが主観品質の各推定値に適用される（ユニット６）ことができるようにすることがより良いかもしれない。

最後に、全体の画像平均されたピクセル差測定値ＣＦが、Ｃ_ｈ、Ｃ_Ｖ、および（または）Ｃ_ｈｖから、以下に従って算出される。

時間平均
これは画像平均パラメータＱＰＦ、ＣＦを用いて、対応する時間平均されたパラメータＴＱＰＦ、ＴＣＦを、以下に従って割り出す。

パラメータを平均することは、ＭＯＳ推定値が要求される時間間隔に亘って行なわれるべきである。これは、ＴＱＰＦおよびＴＣＦパラメータの単一の組を生成する単一の分析期間で有り得、または一連のパラメータを生成する一連の間隔であり得る。連続的分析は、典型的に秒オーダーの長さのウィンドウ間隔で、ＣＦとＱＰＦの時間上の連なりにおいて分析ウィンドウを「スライドさせる」ことにより、連続的な分析が達成されることが可能である。

推定ＭＯＳ
これは、時間平均パラメータＴＱＰＦ、ＴＣＦを用いて、復号されたシーケンスＤの対応する時間間隔についての主観的に測定された平均オピニオン値の推定値ＰＭＯＳを作製する。ＴＱＰＦは、復号されたシーケンス内に存在する雑音の推定に貢献し、ＴＣＦは、その雑音がどれくらい上手く映像シーケンスの内容によって覆われ得るかの推定に貢献する。ＰＭＯＳは、パラメータを組み合わせて、以下に従って算出される。

Ｆ_１、Ｆ_２は、ＡｖＱｐおよびＣＳ内の適切な線形または非線形関数である。Ｋ_０は定数である。

ＰＭＯＳは予想される平均オピニオン値であり、１乃至５の範囲にある。５が高品質と等しく、１が低品質と等しい。Ｆ_１、Ｆ_２、およびＫ_０は、多くの商用統計ソフトウェア・パッケージにおいて利用可能なもののような適切な回帰分析（例えば、線形、多項式、または対数）によって決定され得る。そのような分析は、既知の主観品質のトレーニング・シーケンスの組を必要とする。次に、Ｆ_１、Ｆ_２、およびＫ_０によって定義されるモデルが、ＭＯＳを独立変数とするとともにＴＱＰＦおよびＴＣＦを従属変数として用いた回帰分析によって導出され得る。典型的には、結果得られるモデルが、トレーニング内での劣化と同様の劣化（コーデック・タイプおよび圧縮レート）の対象となったテスト・シーケンスの品質を予測するために用いられるであろう。しかしながら、映像内容は異なるかもしれない。

フル解像度放送素材のＨ．２６４圧縮については、適切な線形モデルは、以下の通りであることが見出された。

次に、結果得られる推定値は、以下の通り制限されるであろう。

以下に、上記の実施形態の様々な態様の補足説明が提供される。

導入：分析の際に元の映像シーケンスおよび劣化した映像シーケンスの両方を利用するフルリファレンス映像品質測定ツールは、放送映像の映像品質を高精度で予測できることが示された。劣化した「参照」シーケンスへアクセスしないノーリファレンス技術を設計することは、より難しい提案である。

ノーリファレンス分析の別の形態は、符号化されたビットストリームに復号器内でまたはネットワーク内の他のどこかでアクセスすることによって達成され得る。そのような「ビットストリーム」分析は、量子化器ステップ・サイズ、動きベクトル、ブロック統計値（block statistic）のような符号化パラメータに即座にアクセスできるという長所を有する。一方、このような符号化パラメータは、フレーム・バッファ分析では利用不可能である。ビットストリーム分析は、逆変換または動き予測マクロブロック再構成を伴わない復号されたパラメータの計算量が少ない分析から映像シーケンスの完全復号まで亘る。

ＰＳＮＲは、映像復号器およびフルリファレンス映像品質測定ツールの両方において主観映像品質を推定する際に用いられる測定値である。無参照ツールでは、ＰＳＮＲは、直接算出されることはできないが、推定され得る。ここで、出願人は、フルリファレンスＰＳＮＲ測定値を凌ぎ得るＨ．２６４／ＡＶＣ復号器内で動作する無参照映像質予測技術を提示する。

第１に、結果が、Ｈ．２６４で符号化された様々なシーケンスを用いて、品質推定をベンチマークする（benchmark）ために提供される。第２に、平均量子化器ステップ・サイズ（ＡｖＱＰ）の測定値を用いて主観品質を推定するビットストリーム技術に対する考察が行なわれる。ＰＳＮＲへの単なる近似ではなく、このビットストリーム、ノーリファレンス測定値は、品質推定を行うためのフルリファレンスＰＳＮＲ測定値を凌ぎ得る。最後に、雑音マスキング（ＣＳ）の測定値が導入される。これによって、ＰＳＮＲおよび量子化器ステップ・サイズに基づいた品質推定技術の両方の性能が高まる。この測定値は、復号された画像シーケンスのピクセル差分析に基づいており、映像復号器内で算出される。結果得られる、復号器に基づいたノーリファレンス・モデルは、測定値と主観値との間の相関度が０．９１を達成することが示されている。

映像テスト素材−トレーニングおよびテスト・データベース：この技術を訓練（train）およびテストするために用いられる映像データベースは、１８個の異なる８秒のシーケンス（全てが６２５の放送フォーマット）から構成された。トレーニング・セットは、ＶＱＥＧ１データベースからの６つのシーケンスおよび他からの３つのシーケンスからなる９つのシーケンスから構成された。テスト・セットは９つの異なるシーケンスから構成された。ＶＱＥＧ１の内容は良く知られており、ＶＱＥＧウェブサイトからダウンロードされることが可能である。品質パラメータが各シーケンスの継続期間に亘る平均に基づくことになっていたので、動きと細部の特性が一貫した内容を選択することが重要であった。シーケンスの詳細は表１内に示されている。

映像テスト素材−符号化：全てのトレーニング・シーケンスおよびテスト・シーケンスが、各々について同じ符号器オプションの組で、Ｈ．２６４符号器ＪＭ７．５ｃを用いて符号化された。

符号器セッティングの重要な特徴は次のとおりであった：Ｉ、Ｐ、Ｂ、Ｐ、Ｂ、Ｐ…フレーム・パターン、レート制御は無効、量子化パラメータ（ＱＰ）は固定、適応性フレーム／フィールド符号化は有効、ループ・フィルタリングは無効
非常に多くの相違する可能な符号器セットアップで、上記のセッティングを一定にしておき、かつ各ソース・ファイルに対するテスト相互間で量子化器ステップ・サイズ・パラメータだけを変えることにした。

形式的な（formal）単一刺激の主観テストが、１２個の被験体がトレーニングの組とテストの組の両方に用いて行なわれた。平均されたＭＯＳの結果は、表２（トレーニング・セット）および表３（テスト・セット）において示されている。

品質評価−ピーク信号対雑音比：ピーク信号対雑音比（ＰＳＮＲ）は、一般に用いられる品質のフルリファレンス測定値であり、多くの映像符号器内で最適化を行うための重要な測定値である。正しく並べられた参照シーケンスおよび劣化したシーケンスと共に用いられると、ＰＳＮＲは算出される直接的な測定値であり、また、時間平均された測定値（ＡｖＰＳＮＲ）が以下に従って計算され得る。

ここで、ｓ（ｎ，ｘ，ｙ）およびｄ（ｎ，ｘ，ｙ）は、Ｘ個の水平方向（ｘ＝０…Ｘ−１）ピクセルとＹ個の垂直方向（ｙ＝０…Ｙ−１）ピクセルの大きさの元シーケンスｓおよび劣化シーケンスｄからのＮ個のうちのｎ番目のフレーム内の、対応するピクセル強度値（０…２５５）である。この等式が用いられて、９つのトレーニング・シーケンスの各々の８秒に亘る平均ＰＳＮＲを算出した。平均測定ＭＯＳに対する平均ＰＳＮＲのプロットが図４に示されている。

２５ｄＢの平均ＰＳＮＲのＭＯＳスコアが検討されると、データの、内容に依存する性質が明らかになる。データ内の３つのＭＯＳ点の範囲が、ＰＳＮＲを用いて知覚される品質を推定する際の潜在的な不正確さを示している。多項式回帰分析によって、ＭＯＳとＡｖＰＳＮＲのデータ間で０．７８の相関度および０．７１５のＲＭＳ残差が与えられる。

質評価−量子化器ステップ・サイズ：Ｈ．２６４については、量子化器パラメータＱＰは、変換係数を符号化するために用いられる線形量子化器の間隔ＱＳＴＥＰを定義する。ＱＰは、所定の間隔の表にインデックスを付ける（index）。この表において、ＱＰが６増加するごとに、ＱＳＴＥＰはその大きさが２倍になる。

トレーニングの組の各テストについては、ＱＰは、ＰおよびＩマクロブロックについては２０、２８、３２、３６、４０、または４４の１つの値に固定され、Ｂマクロブロックについては２大きい値に固定された。図５は、９つのトレーニング・シーケンスの各々についての平均ＭＯＳに対する平均ＱＰのプロットを示している。

ＭＯＳと平均ＱＰとの間の多項式回帰分析によって、０．９２４の相関度および０．４２４のＲＭＳ残差が与えられる。また、様々なＱＰ値での予想されるＭＯＳ範囲がＡｖＰＳＮＲについてのものより著しく小さいことが明らかである。

量子化器ステップ・サイズからのＰＳＮＲの１つの推定値は、量子化範囲内のエラー値の一様分布の近似に依存する。しかしながら、この近似は、大多数の係数が０まで「中心切り取り（centre clipped）」される場合、ステップ・サイズが大きな低ビット・レートに適用できない。多少驚いたことに、結果は、ＡｖＱＰが、ＰＳＮＲよりもより良く主観値を予想し得ることを示している。ＱＰとＨ．２６４における実際の量子化器ステップ・サイズとの間の非線形の写像が何らかの理由で多項式分析を簡単にし得る可能性が減じられた。実際のステップ・サイズ対ＭＯＳについても同様の結果が達成された。

ピクセル・コントラスト測定値−歪みマスキング：歪みマスキングは、符号化された映像シーケンス内の歪みの認識に影響を与える重要な要素である。そのようなマスキングは、人間の知覚メカニズムが同じスペクトル上の、または時間上の、空間上の場所（locality）内での信号成分と雑音成分とを識別できないために生じる。そのような考察事項は、ビットを効率的に配分することが不可欠である映像符号器の設計の際、非常に重要である。この分野における研究は変換とピクセルの両方の領域において行なわれてきた。ここでは、ピクセル領域だけが考慮される。

ピクセル・コントラスト測定値−ピクセル差コントラスト測定値：ここで、ピクセル領域内での分析によって画像シーケンスのマスキング特性を決定する考えが、映像品質推定に適用される。実験によって、スライディング・ウィンドウ・ピクセル差分析によって算出されるコントラスト測定値が良好に機能することが明らかになった。

ピクセル差コントラスト測定値Ｃ_ｈとＣ_ｖは、上記の等式（２）、（３）に従って算出される。ここで、Ｈは水平方向ピクセル分析用のウィンドウ長さであり、Ｖは垂直方向ピクセル分析用のウィンドウ長さである。次に、等式（４）に従って、Ｃ_ｈとＣ_ｖが組み合わせられて水平垂直測定値Ｃ_ｈｖを与える。次に、Ｃ_ｈｖが用いられて、上記の等式（５）に従ってフレームについての全体のピクセル差測定値ＣＦを算出し、続いて、上記の等式（６）において定義されているシーケンス平均測定値ＣＳを算出し得る。シーケンス平均測定値ＣＳ（上ではＴＣＦと称されている）は、Ｈ＝４およびＶ＝２を用いて復号されたトレーニング・シーケンスの各々に付いて算出され、その平均量子化器ステップ・サイズに対するプロットによる結果が図６に示されている。

図６中の結果は、図４のＰＳＮＲ対ＭＯＳの結果と順位に関して同様の類似性を示し、図５のＡｖＱステップ対ＭＯＳの結果より劣る類似性を示している。「カレンダー」および「岩」シーケンスは、最も高いＣＳ値を有しており、また、ＰＳＮＲおよびＡｖＱステップの両方において良好な範囲に亘って最も高いＭＯＳ値を有している。同様に、「カヌー」および「稚魚（fry)」シーケンスは最低のＣＳ値および最低のＭＯＳ値を有する。したがって、復号されたピクセルから算出されたＣＳ測定値は、シーケンスの雑音マスキング特性と関係を有するようである。高いＣＳは、所与のＰＳＮＲについて、マスキングがより高く、したがって、ＭＯＳがより高いことを意味する。ノーリファレンス品質推定におけるＣＳ測定値の使用の可能性が、下に述べられている多重回帰分析に含められることによってテストされた。

結果：第１に、トレーニング・セット用の平均ＭＯＳ（従属変数）が、多くの商用統計ソフトウェア・パッケージ［１４］において利用可能なもののような標準的な多項式／対数回帰分析を用いて、ＰＳＮＲ（独立変数）によってモデル化された。次に、結果得られたモデルが、テスト・シーケンスに対して用いられた。そして、これがＡｖＱＰを独立変数として用いて繰り返された。その処理がＣＳを各場合のさらなる独立変数として用いて繰り返された。結果得られた、推定されたＭＯＳと測定されたＭＯＳとの間の相関度とＲＭＳ残差が表４において示されている。

結果は、シーケンス平均されたコントラスト測定値（ＣＳ）をＰＳＮＲまたはＡｖＱＰに基づいたＭＯＳ推定モデルに含めると、トレーニングの組およびテストデータの組の両方について成績が向上することを示している。ＡｖＱＰパラメータおよびＣＳパラメータを用いるモデルの成績は特に良好で、トレーニング（０．９５）および印象的なことにテスト（０．９１６）と、共に０．９を超える相関度を達成した。

結論：Ｈ．２６４の映像復号器内の主観的な映像品質を推定するための２つのパラメータ・モデルが提示された。映像シーケンスに亘って平均されたＨ．２６４量子化器ステップ・サイズ・インデックスに相当するＡｖＱＰパラメータは、雑音の推定に寄与する。復号されたピクセルのスライディング・ウィンドウ差分析を用いて算出されたＣＳパラメータによって、映像内容の雑音マスキング特性の指標が付加される。これらのパラメータが一緒に用いられると、復号器内で驚くほど正確な主観的な品質推定が達成されることが可能であり得ることが示されている。

８秒のトレーニング・シーケンスおよびテスト・シーケンスは、時間に亘る画像特性における著しい変化を減ずる目的で選択された。その目的は、測定されたＭＯＳの値が短命で明確な歪みによって不適当に重み付けされないように、一貫した劣化特性を有する復号されたシーケンスを用いることであった。こうすることによって、シーケンス平均されたパラメータを伴ったＭＯＳ値をモデル化することが、より理に適ったかつ正確な処理となる。

等式（５）において定義されているコントラスト測定値ＣＦは、取得された全画像についての各ピクセルに対して行なわれている平均に依存する。空間上かつ時間上ブロックに亘ってＣＦを分析することが有益であり得ることが分かった。

映像シーケンスの品質の評価装置を、機能の観点から示すブロック図である。画像内のピクセルについて水平方向コントラスト測定値がどのように算出されるかを示している。図２の画像のピクセルについて垂直方向コントラスト測定値がどのように算出されるかを示している。トレーニング・シーケンスについてのＡｖＰＳＮＲ対測定されたＭＯＳを示している。トレーニング・シーケンスについてのＡｖＱＰ対測定されたＭＯＳを示している。トレーニング・シーケンスについてのＣＳ対測定されたＭＯＳを示している。ＡｖＱＰ／ＣＳモデルについての測定されたＭＯＳ対推定されたＭＯＳを示している。

Claims

複数のフレームを表す映像信号の品質の測定値を生成するための方法であって、前記映像信号は元の形態と符号化された形態と復号された形態とを有し、前記符号化された形態では前記符号化された信号がそれと関連する量子化器ステップ・サイズ・パラメータを有するように可変の量子化器ステップ・サイズを用いる圧縮アルゴリズムを用いて前記映像信号が符号化されており、前記復号された形態では前記符号化された映像信号の少なくとも一部が前記元の形態へと再変換されており、
ａ）前記量子化器ステップ・サイズ・パラメータの関数である第１品質測定値を生成することと、
ｂ）前記復号された形態の前記映像信号によって表される前記複数のフレームの少なくとも一部にわたって複数のピクセル差を用いたコントラスト測定値である第２品質測定値を生成することと、
ｃ）前記第１、第２測定値を組み合わせることと、
を具備し、
前記コントラスト測定値は、フレーム内の複数の位置での局部コントラスト測定値を割り出すことによって測定され、
各局部コントラスト測定値は、フレームの近隣領域の強度に対して比較関数を実行することによって得られ、
各フレームは複数のピクセルを含み、
所与のフレームの少なくとも幾つかのピクセルについて、１つのピクセルの近傍の近隣領域に対して前記比較関数が実行されて、このピクセルに関する比較値を得、
フレームの前記コントラスト測定値は、フレーム内の相違する位置で得られた前記局部コントラスト測定値の平均を用いて算出され、
複数のフレームの前記コントラスト測定値が平均される、
方法。
前記近隣領域は細長く、
前記フレームの各々は、格子状に配置された複数のピクセルを含み、
前記格子は、複数の行と複数の列とを有し、
各細長い領域は、１つの行部分または１つの列部分に沿って配置された複数のピクセルによって形成されている、
請求項１の方法。
１つのピクセルの近傍の近隣領域について、前記比較関数は、第１方向に延びている近隣領域の第１対の強度差を求めることと、第２方向に延びている近隣領域の第２対の強度差を求めることと、を含み、
前記比較関数は、前記第１、第２方向における前記差の大きい方を選択することを含む、
請求項１または２の方法。
前記フレームの各々は、複数のピクセルを含み、
所与のフレーム内の少なくとも幾つかのピクセルについて、前記コントラスト測定値が所与のピクセルにおける第１方向内での強度差およびこのピクセルにおける第２方向での強度差の測定値から割り出され、
前記第１、第２方向は、相互に直交している、
請求項１乃至３のいずれか１項の方法。
前記強度差の測定値は、フレームの近隣領域の前記強度差と線形の関係を有しており、
近隣領域の前記強度は、この領域内の前記ピクセルの平均強度から得られる、
請求項４の方法。
前記コントラスト測定値は、フレーム内の近隣領域に比較関数を実行することによって得られ、
前記近隣領域は長軸と短軸とを有するように細長く、
細長い領域の各々の前記長軸はフレームの前記長軸の方向における長さの０．５乃至２％である、
請求項１乃至５のいずれか１項の方法。
複数のフレームを表す映像信号の品質の測定値を生成するための装置であって、前記映像信号は元の形態と符号化された形態と復号された形態とを有し、前記符号化された形態では前記符号化された信号がそれと関連する量子化器ステップ・サイズ・パラメータを有するように可変の量子化器ステップ・サイズを用いる圧縮アルゴリズムを用いて前記映像信号が符号化されており、前記復号された形態では前記符号化された映像信号の少なくとも一部が前記元の形態へと再変換されており、
ａ）前記量子化器ステップ・サイズ・パラメータの関数である第１品質測定値を生成するための手段と、
ｂ）前記復号された形態の前記映像信号によって表される前記複数のフレームの少なくとも一部にわたって複数のピクセル差を用いたコントラスト測定値である第２品質測定値を生成するための手段と、
ｃ）前記映像信号の品質の前記測定値を生成するために前記第１、第２測定値を組み合わせる手段と、
を具備し、
前記コントラスト測定値は、フレーム内の複数の位置での局部コントラスト測定値を割り出すことによって測定され、
各局部コントラスト測定値は、フレームの近隣領域の強度に対して比較関数を実行することによって得られ、
各フレームは複数のピクセルを含み、
所与のフレームの少なくとも幾つかのピクセルについて、１つのピクセルの近傍の近隣領域に対して前記比較関数が実行されて、このピクセルに関する比較値を得、
フレームの前記コントラスト測定値は、フレーム内の相違する位置で得られた前記局部コントラスト測定値の平均を用いて算出され、
複数のフレームの前記コントラスト測定値が平均される、
装置。