JP5721936B2 - フレーム系列の歪んだバージョンの品質を評価する方法 - Google Patents

Description

本発明は、フレーム系列の歪んだバージョンの品質を評価する方法に関する。

ビデオ又はフィルムのような画像又はフレームの系列が圧縮されると、圧縮されたフレーム系列に歪みがもたらされる。高雑音又は歪みを有するチャネルを介した伝送によってもたらされる誤りは、歪みの別のソースであり得る。

フレーム系列の歪んだバージョンの品質を評価するためには、ビデオ品質の尺度が必要である。

元のバージョンと歪んだバージョンとの間の距離を測定するための周知の数学的尺度（平均二乗誤差や最大絶対誤差など）は、歪みの心理学的な局面を考慮に入れていない。すなわち、歪みによっては、ユーザに、より眼に見え、よって、より不快なものがあるが、歪んだバージョンと元のものとの測定距離が同じになるに過ぎない。

更に、歪みの持続時間は、歪みがもたらす不快感に対して重要な役割を果たす。

欧州特許出願公開ＥＰ１８０４５１９には、主観的品質を推定するためのビデオ品質客観評価装置であって、特徴劣化量である時間／空間特徴量を導出する時間／空間特徴量導出装置を含むビデオ品質客観評価装置が開示されている。

人間の知覚系の影響をよりよく反映する、フレーム系列の歪んだバージョンの品質を評価する方法に対する必要性が存在している。

このことは、フレーム系列の歪んだバージョンの品質を評価する方法によって達成され、上記方法は請求項１の構成を含む。

すなわち、上記方法は、ａ）系列の最後のフレームのブロックを最後のフレームの歪んだバージョンの対応するブロックと比較することにより、最後の空間的歪みを求める工程と、ｂ）最後のフレームのブロックに最もよく一致している最善一致ブロックを、最後から２番目のフレームにおいて求める工程と、ｃ）最後から２番目のフレームの求められた最善一致ブロックを、最後から２番目のフレームの歪んだバージョンの対応するブロックと比較することにより、最後から２番目の空間的歪みを求める工程と、ｄ）品質を評価するために、求められた時空間知覚歪み値を使用し、求められた歪みを使用して、上記ブロックに関連付けられた時空間知覚歪み値を求める工程とを含む。

ブロックに関連付けられた空間的歪みの時間的な進展を考慮に入れることにより、歪んだビデオの品質がより好適に評価される。

従属請求項は、方法の効果的な実施例を記載している。

例えば、求められた空間的歪みを使用する工程は、最後の空間的歪みと、最後から２番目の空間的歪みとの間の第１の歪み勾配を使用する工程を含む。

あるいは、方法は、最後のフレームに先行するいくつかのフレームを介して工程ｅ）及びｆ）を反復し、時空間知覚歪み値を求めるために、求められた空間的歪み全てを使用する工程を更に含み、使用する工程は、連続したフレーム間の歪み勾配を使用する工程を含む。

第１の差が閾値を満たしたか、又は超えた場合、方法は、更なる数のフレームを介して、反復工程ｅ）及びｆ）を続ける工程を含み得る。

方法は、求められた連続歪み勾配間のいくつかの符号変換を集計し、求められた歪み勾配のうちの最大値を求め、時空間知覚歪み値を求めるために、上記いくつかの符号変換、及び最大値を使用する工程を更に含み得る。

一実施例では、最後のフレーム（Ｉ６）は、別個のブロックに分割され、時空間知覚歪み値が、別個のブロック毎に求められる。これは、最後のフレームのフレーム品質スコアを求めるために、求められた時空間知覚歪みを使用することを可能にする。

方法は更に、フレーム系列のフレーム毎にフレーム品質スコアを求め、求められた品質スコアの平均を求め、品質を割り当てるために、求められた平均を使用する工程を更に含み得る。

特許請求の範囲記載の本発明の例示的な実施例を示す図である。 本発明の時空間的歪み評価モジュールの例示的な実施例を示す図である。 本発明のプーリング・モジュールの例示的な実施例を示す図である。 時空間的歪みチューブを例示した図である。 歪み勾配の時間フィルタリングに使用された畳み込み関数を例示する図である。

本発明の例示的な実施例を図面に示し、以下の説明において更に詳細に説明する。

図１は、特許請求の範囲記載の本発明の例示的な実施例を示す。元のビデオＯＶが動き推定モジュールＭＯＥＳに入力される。ＭＯＥＳは、ドミナント・モーション・パラメータ及び動きベクトルを出力する。ビデオＤＶの歪んだバージョンは空間知覚歪み評価モジュールＳＰＤＥに入力される。ＳＰＤＥは、空間知覚歪みマップを出力する。各空間知覚歪みマップは、ビデオのフレームの１つの画素に関連付けられた歪み値を含み得る。空間知覚歪みマップ、動きパラメータ及び動きベクトルは、時空間知覚歪み評価モジュールＳＴＰＤＥに入力され、ＳＴＰＤＥは、時空間知覚歪みマップＳＴＰＤＭを出力する。時空間知覚歪みマップＳＴＰＤＭはプーリング・モジュールＰＯＯＬに入力され、他の目的でも使用することができる。

プーリング・モジュールＰＯＯＬは次いで、ビデオ品質スコアＶＱＳを出力する。

図２は、本発明の時空間的歪み評価モジュールＳＴＰＤＥの例示的な実施例を更に詳細に示す。モジュールＳＴＰＤＥは、サブモジュールＳＴＤＴＣを含む。ＳＴＤＴＣは、いわゆるブロック・チューブＴＵＢＥに関連付けられたいわゆる空間的歪みチューブを生成する役割を果たす。空間的歪みチューブは、２つのサブモジュールＴＧＣ及びＴＦＳＤに供給される。サブモジュールＴＧＣは、入力空間的歪みチューブから、いわゆる勾配チューブを生成する。勾配チューブは、閾値を満たすか、又は超えるかについてサブモジュールＭＵで評価される。その結果に応じて、少なくとも２つの考えられる時間パラメータ値の１つがサブモジュールＴＦＳＤに供給される。サブモジュールＴＦＳＤは、モジュールＴＧＣによって供給される時間パラメータを使用して入力チューブを時間的にフィルタリングすることにより、入力空間的歪みチューブから、いわゆる時間フィルタリングされた歪みチューブを生成する。

サブモジュールＴＧＣによって生成される勾配チューブは、サブモジュールＴＦＤＧにおいて時間フィルタリングされる。時間フィルタリングされた勾配チューブ及び時間フィルタリングされた歪みチューブは、固視プーリングＦＩＸＰのためのサブモジュール（時空間知覚歪みマップＳＴＰＤＭを出力する）に入力される。

図３は、本発明のプーリング・モジュールＰＯＯＬの例示的な実施例を更に詳細に示す。プーリング・モジュールＰＯＯＬは、空間プーリングＳＰＯＯＬのためのサブモジュール、及び時間プーリングＴＰＯＯＬのためのサブモジュールを含む。空間プーリングＳＰＯＯＬは、入力として受け取る時空間知覚歪みマップから各フレームのフレーム品質スコアを生成する。フレーム品質スコアは、サブモジュールＴＰＯＯＬにおいてビデオ品質スコアＶＱＳに合成される。よって、プーリング・モジュールＰＯＯＬは、個々のフレームの品質スコア、及びビデオ系列全体の品質スコアを時空間知覚歪みマップから算出する工程を行う。

モジュール及びサブモジュールによって行われる工程を以下に更に詳細に説明する。

空間知覚歪み評価モジュールＳＰＤＥにおいて行われる工程は、空間知覚歪みマップ

の計算である。ビデオ系列のフレームｔ毎に、空間知覚歪みマップが計算される。この空間的歪みマップの各エントリ（ｘ，ｙ）は、元のフレームにおける位置（ｘ，ｙ）の画素と、フレームの歪んだバージョンにおける同じ位置の画素の歪んだバージョンとの間で認識される歪みの度合いを表す。例示的な実施例では、内容全体を本明細書及び特許請求の範囲に援用する先の欧州特許出願第０８３００００６．７号に記載された歪み尺度を利用することにより、求められる。更に、又はあるいは、他の周知の尺度を使用することができる。前述の他の尺度には例えば、二乗平均誤差（ＭＳＥ）、ピーク信号対雑音比（ＰＳＮＲ）、又は構造的類似性（ＳＳＩＭ）がある。

空間知覚歪みマップ

の算出に先行し、それと並列に、又はその算出後に、元のビデオ・フレーム系列における動き推定の工程が行われる。フレームのブロックについて、直前フレームにおける対応する最善一致のブロック、及び対応する置換又は動きベクトルが求められる。動きベクトルから、ドミナント・モーション・パラメータが算出される。ドミナント・モーション・パラメータは、種々の手段、例えば、最小二乗平均又はＭ推定器のファミリに属するアルゴリズムなどによって求めることができる。

前述の工程（ドミナント・モーション及び動きベクトル推定）は、階層動き推定（ＨＭＥ）で達成することができる。

モジュールＳＰＤＥ及びＭＯＥＳにおいて行われる工程は、本発明の時空間知覚歪み評価に必要な動き情報及び空間的歪みマップを得るために必要である。

時空間知覚歪み評価モジュールＳＴＰＤＥにおいて行われる工程は、空間的歪みマップ及び動き情報からの時空間知覚歪みマップ

の算出である。時空間知覚歪みマップ

は、ブロックに関連付けられた時空間知覚歪み値を含む。この工程は、先行フレームにおける対応する直前バージョンのブロックについて求められた空間的歪みで、フレーム・ブロックについて求められた空間的歪みをフィルタリングすることにより、時間フィルタリングされた空間的歪みマップ

を求める工程を含み、直前バージョンのブロックは、動き情報を利用して求められる。例えば、ブロック毎に、ブロックの空間的歪み、及び対応する直前バージョンのブロックの空間的歪みの加重和が上記フィルタリングによって求められる。

更に、時間歪み勾配マップ

が求められる。前述の時間勾配歪みマップ

の各エントリ（ｋ，ｌ）は、フレームｔ内の位置（ｋ，ｌ）におけるブロックについて求められる歪みの度合い、及び位置（ｋ，ｌ）におけるブロックの直前のバージョンのブロックについて求められる歪みの度合いの差を表す。上記直前のバージョンのブロックは先行フレーム内にある。

時間フィルタリングされた空間的歪みマップ

及び時間勾配マップ

から、時空間知覚歪みマップ

が計算される。

時間フィルタリングに使用される計画対象期間は、計算又は他の要件に応じて選ぶことができる。すなわち、直前のバージョンのブロックの直前のバージョンは、動き情報を利用して求めることができ、直前バージョンのブロックの直前バージョンについて求められた空間的歪みをフィルタリングに使用することもできる。より一般には、計画対象期間内の特定のフレームに先行するフレーム全てから、先行ブロックにていて求められた空間的歪みは、特定のフレームのブロックについて求められた空間的歪みの時間フィルタリングに使用することができる。例示的には、計画対象期間は、人間の眼の固視の時間スケールに対応する４００ｍｓにセットされる。

この概念は例示的に図４に表す。図は、画像又はフレームＩ１乃至Ｉ６の例示的な系列又はシーケンスを表す。最後のフレームＩ６の任意に選ばれたブロックＢ６の、ブロック・チューブとも呼ばれるパス又は履歴ＴＵＢＥは、矩形チューブとして表す。任意に選ばれたブロックＢ６のうちのブロック・チューブＴＵＢＥのみを表すが、対応するブロック・チューブが、最後のフレームＩ６の別個のブロック全てについて形成される。任意に選ばれたブロックＢ６に関連付けられたブロック・チューブＴＵＢＥは、一連の最善一致ブロックＢ５、Ｂ４、Ｂ３、Ｂ２、Ｂ１によって求められ、最後から２番目のフレームＩ５における第１の最善一致ブロックＢ５は、最後のフレームＩ６内の任意に選ばれたブロックＢ６に最もよく一致する。最後から３番目のフレームＩ４における第２の最善一致ブロックＢ４は、最後のフレームＩ６の最善一致ブロックに最もよく一致する等であり、最後から６番目のフレームＩ１における第５の最善一致ブロックＢ１が、最後から５番目のフレームＩ２の第４の最善一致ブロックに最もよく一致する。最後から５番目のフレームＩ２における第４の最善一致ブロックＢ２は、最後から４番目のフレームＩ３の第３の最善一致ブロックＢ３に最もよく一致し、これは、最後から３番目のフレームＩ４の第２の最善一致ブロックＢ４に最もよく一致する。

更に、計画対象期間は、ブロック内の物体がシーンにおいて出現するか、消失する場合に短縮することができる。物体の出現又は消失を検知するための方法は、ドミナント・モーションの使用に基づく。実際に、各ブロックは、動きを、パラメトリック・ドミナント・モーションと比較することによって分類される。これは、各ブロックが、ドミナント・モーションに対してインライアー（ｉｎｌｉｅｒ）又はアウトライアー（ｏｕｔｌｉｅｒ）であることを意味する。２つの連続フレーム間のブロックのインライヤー・アウトライヤー変換の分類は、それが属する物体の出現又は消失を意味し、よって、このブロックの計画対象期間の限度を示す。

ブロック・チューブＴＵＢＥに対応して、空間的歪みチューブ

及び歪み勾配チューブ

が存在している。空間的歪みチューブ
及び歪み勾配チューブ

は、ブロック・チューブＴＵＢＥ内のブロックに関連付けられた空間的歪み値の系列である。そして、歪み勾配チューブ

は、空間的歪みチューブ内の連続した空間的歪み間の差の系列である。したがって、歪み勾配チューブ

は、空間的歪みチューブ又はブロック・チューブＴＵＢＥよりも少ない一要素を含む。

ブロック・チューブＴＵＢＥでは、時点ｔ_ｉでの歪み勾配は

のように計算される。

ここで、

は時点ｔ_ｉでの歪み値であり、
ここで、

は時点ｔ_ｉ−１での歪み値であり、ｔ_ｉは計画対象期間に含まれる。

任意に選ばれたブロックＢ６に関連付けられた空間的歪みは、ブロックＢ６に関連付けられた空間的歪みのフィルタリングに使用される。すなわち、最善一致ブロックについて求められる空間的歪みは、任意に選ばれたブロックＢ６の空間的歪みを時間フィルタリングするために使用される。上記フィルタリングは再帰的であり得る。すなわち、最善一致ブロックについて求められる、時間フィルタリングされた空間的歪みは、任意に選ばれたブロックＢ６の空間的歪みを時間フィルタリングするために使用される。

空間的歪みの時間フィルタリングは、検査対象フレームに対する時間上の距離に依存するフィルタリングに対する、直前のバージョンの時間フィルタリングされた空間的歪み、又は空間的歪みの影響を調節する時間パラメータに更に依存する。すなわち、より大きな時間パラメータの場合、計画対象期間における直前バージョン全てのフィルタリング歪みは、フィルタリングに影響を及ぼす一方、小さな時間パラメータの場合、検査対象の最後のフレームの狭い時間的近傍の直前バージョンの歪みによって支配されるか、又は大きく誘導される。

任意に選ばれたブロックＢ６をフィルタリングするために使用される時間パラメータは、関連付けられた歪み勾配チューブに応じて調節することができる。任意に選ばれたブロックＢ６と、任意に選ばれたブロックＢ６に最もよく一致する直前フレームのブロックとについて求められた空間的歪みの間の差が閾値を満たすか、又は超える場合、第１の時間パラメータ（例えば、４００ｍｓ）は時間フィルタリングに使用される。さもなければ、より小さな第２の時間パラメータ（例えば、２００ｍｓ）がフィルタリングに使用される。この場合、任意に選ばれたブロックＢ６に関連付けられた歪み勾配もＺｅｒｏにセットすることができる。

任意に選ばれたブロックＢ６に関連付けられた歪み勾配は、歪み勾配チューブを利用することによる時間フィルタリングも受け得る。歪み勾配のフィルタリングは、歪み勾配チューブ内の最大歪み勾配

、及び歪み勾配チューブ内の連続した歪み勾配間の符号反転の数

に基づく。符号反転の数は、最大歪み勾配を重み付けるために使用される。平滑化のために、符号反転の数は、例えば、以下のガウス畳み込み関数で畳み込むことができる。これは、図５に更に例示的に表す。

関数ｆｓ（）は、特定の符号反転頻度での時間的歪みに、より大きな重要度を与える。ｇ_ｓ＝１６、σ_ｓ＝６及びμ_ｓ＝１．３の場合、好適な結果が達成されるが、他のパラメータ設定も可能である。この工程の結果は、各ブロック（ｋ，ｌ）が、フレームｔで始まる、各チューブ内の歪み勾配の時間フィルタリングの結果であるマップ

である。

よって、フレームｔにおける位置（ｋ，ｌ）におけるブロックに関連付けられた時間フィルタリングされた歪み勾配は、

の等式に従って得ることができる。

サブモジュールＦＩＸＰは固視プーリングを行い、マップ
ィルタリングされた歪み勾配は、

及びマップ

を合成して、最後の時空間歪みマップ

を得る。前述のマップは、

の等式に従って計算することができる。

パラメータα及びβは経験的に推定される。例えば、αが１で、βが３であるとき、好適な結果が達成される。

モジュールＰＯＯＬは、図５に表すように、２つのサブモジュール（すなわち、空間プーリング・サブモジュールＳＰＯＯＬ及び時間プーリング・サブモジュールＴＰＯＯＬ）を含む。上記プーリング・サブモジュールは以下の工程を行う。

まず、フレーム品質スコアＱ_ｔが、ミンコフスキー和を使用して、時空間歪みマップから計算される。

ここで、Ｋ及びＬはそれぞれ、時空間歪みマップの高さ及び幅（すなわち、時点ｔにおけるフレーム内の垂直ブロック数及び水平ブロック数）であり、β_ｐはミンコフスキー指数である。

次いで、最後のビデオ品質スコアＶＱＳが、ビデオの各フレーム品質スコアＱ_ｔから計算される。最後のＶＱＳは

として計算される。ここで、

は、ビデオのフレーム全体にわたるＱ_ｔの平均であり、ｍａｘ（Δ_t）は、系列に沿った品質のばらつきのうちの最大値を表す項である。ここで、Δ_tは

であり、関数ａｂｓ（）は、その引数の絶対値を返す。

ｍ＝２、ｐ＝１、ｑ_１＝１及びｑ_２＝０．５により、好適な結果が達成されているが、他のパラメータ設定も可能である。

客観的品質スコアＶＱＳは場合によっては、心理測定的関数を使用して、予測された平均観察者スコア（ＭＯＳｐ）に変換される。心理測定的関数は、

によって表される。

ここで、ｂ１、ｂ２及びｂ３は、データベース内のビデオに割り当てられた平均観察者スコアと、同じビデオについて算出された客観的品質スコアＶＱＳとを比較することによって求められる、心理測定的関数のパラメータである。

客観的品質スコアＶＱＳの範囲は、

であり、ＭＯＳｐの範囲は、

である。

対応するカテゴリ・レーティングは以下の通りである。すなわち、
５は、認識できない。

４は、認識できるが、不快でない。

３は、わずかに不快である。

２は、不快である。

１は、非常に不快である。

本発明は、効果的には、（例えば、符号化装置において、再構成されたビデオを、対応するビデオ・ソースと比較するために）ビデオ品質を評価するために使用することができる。

本発明は更に、別のコデックを使用して符号化装置の性能を比較するために効果的に使用することができる。

本発明によって計算される知覚誤差マップは、判定又は定量化工程を局所に適合させるために符号化装置において使用することもできる。

Ｉ フレーム
Ｂ ブロック

Claims (5)

1. フレーム系列の歪んだバージョンの品質をフレーム品質スコアの平均から評価する方法であって、各フレーム品質スコアは、前記フレーム系列の最後のフレームに関連付けられた時空間歪みマップから計算され、前記フレーム系列の最後のフレームに関連付けられた時空間歪みマップは、
   前記フレーム系列の最後のフレームのブロック毎に、
   ａ）前記フレーム系列の前記最後のフレームの評価対象ブロックを前記最後のフレームの歪んだバージョンの対応するブロックと比較することにより、最後の空間的歪みを求める工程であって、前記最後のフレームの前記評価対象ブロックは前記最後のフレーム内の一位置にあり、前記最後のフレームの前記歪んだバージョンの前記対応するブロックは、前記最後のフレームの前記歪んだバージョン内の、前記一位置と同じ位置にある工程と、
   ｂ）最後から２番目のフレームの最善一致ブロックを、前記最後から２番目のフレームの前記歪んだバージョンの対応するブロックと比較することにより、最後から２番目の空間的歪みを求める工程であって、前記最後から２番目のフレームの前記最善一致ブロックが動き推定を使用して求められる工程と、
   ｃ）前記評価対象ブロックに関連付けられた時空間知覚歪み値を前記最後の空間的歪み及び前記最後から２番目の空間的歪みから求める工程と
   を行う工程と、
   前記最後のフレームの前記ブロックに関連付けられた時空間知覚歪み値から、前記フレーム系列の前記最後のフレームに関連付けられた時空間歪みマップを得る工程と
   を行うよう計算される方法。
2. 請求項１記載の方法であって、
   ｄ）最後から３番目のフレームにおいて、前記最後から２番目のフレームの前記最善一致ブロックに最もよく一致する更なる最善一致ブロックを求める工程と、
   ｅ）前記求められた更なる最善一致ブロックを、前記最後から３番目のフレームの歪んだバージョンの対応するブロックと比較することにより、最後から３番目の空間的歪みを求める工程と、
   を含み、
   前記時空間知覚歪み値は、求められた空間的歪み全ての加重平均を使用して求められる方法。
3. 請求項２記載の方法であって、
   前記最後のフレームに先行するいくつかのフレームにわたって工程ｄ）及びｅ）を反復する工程と、
   を含み、
   前記時空間知覚歪み値は、求められた歪み全ての加重平均を使用して求められ、連続したフレーム間の歪み勾配は、前記時空間知覚歪み値を重み付けるための重みを求めるために使用され、前記重みは、連続するフレーム間の前記歪み勾配の最大値に比例する方法。
4. 請求項３記載の方法であって、
   前記歪み勾配は閾値以上であるかを判定する工程と、
   肯定の場合、更なる数のフレームにわたって工程ｄ）及びｅ）の反復を続ける工程を更に含む方法。
5. 請求項３又は４に記載の方法であって、
   求められた連続歪み勾配間の符号変換の数を集計する工程と、
   前記符号変換の数を畳み込む工程であって、前記重みは、前記符号変換の前記畳み込まれた数に更に比例する方法。

Images