JP5250638B2 - フリッカー測定方法 - Google Patents

Description

〈関連出願への相互参照〉
本願は、米国特許法第１１９条（ｅ）により2008年1月17日に出願された仮特許出願第61/011,507号の出願日の利益を主張するものである。

〈発明の分野〉
本発明は、フリッカー測定方法に関し、具体的にはフレームごとのフリッカー・アーチファクト（flickering artifacts）を正確に測定できる方法に関する。

フレーム間フリッカーは、エンコードされたビデオ信号において、特に低ビットレートまたは中ビットレートの符号化における周期的なIフレームにおいて普通に見られるアーチファクトであり、符号化されたビデオの全体的な知覚上の品質を大きく劣化させる。フリッカー・アーチファクトをいかにして正確に測定するかは、実際上の重要な問題である。既存のフリッカー・メトリックは典型的には、シーケンス全体のIフレーム・フリッカーを測定してシーケンス全体を記述するIフレーム・フリッカーの単一の指標を与えるためだけに好適な粗い解決策であり、フレームごとのフリッカー・アーチファクトを測定するときには失敗する（すなわち、所与のフレームについて単一の指標を与えるものではない）。

フレーム間フリッカーは、ビデオ符号化においても普通に見られるアーチファクトである。もとのビデオ信号では視覚的に同一であるのに、二つの相続くビデオ・フレームにおける同じ静的な背景領域がエンコード／再構成されたビデオでは異なって見えることがありうる。これは、それらの領域が異なる符号化パラメータ、たとえば異なるマクロブロック（MB）、量子化パラメータ（QP）および／または異なるMB符号化モード（インター・モードまたはイントラ・モードのような）による異なるエンコード過程を通じてエンコードされるからである。結果として、符号化されたビデオを再生するときにフリッカーが知覚されることになる。

人間の視覚系（HVS: human visual systems）のよく知られた動きマスキング効果のため、フリッカーは、ビデオ・フレームの中程度または高度の動きの領域よりも静的または低い動きの領域において知覚されやすい。さらに、フリッカーは、低ビットレートまたは中ビットレートの符号化において、および／または符号化されたシーケンス中の周期的なIフレームにおいて、より顕著である。直前のフレームがフレーム間〔インター・フレーム〕予測を使ってPフレームとして符号化される一方、現在フレームはフレーム内〔イントラ・フレーム〕予測を使って全MBを用いてIフレームとして符号化される。限られたビットレートのためにしばしば粗い量子化が使用される。したがって、それら二つのフレームにおいて照合される対応する静的MBについて、大きな再構成差が帰結することがありえ、よって、深刻なIフレーム・フリッカーまたは脈動〔パルシング〕アーチファクトが帰結することがありうる。フリッカー・アーチファクト、特にIフレーム・フリッカーは、符号化されたビデオの知覚上の品質を大きく損なう。

フリッカー・アーチファクトをいかにして正確に測定するかは、実際上の重要な問題である。フリッカー測定のためのよい方法は、さまざまなフリッカー除去（de-flickering）方式の性能を評価するために貴重となるばかりでなく、おそらくはより重要なことに、そのような方法は、より効果的にフリッカーを低減させるためのさまざまなエンコーダ最適化技術を開発するために活用できる。たとえば、レート‐歪み（RD: rate-distortion）最適化は、多様な符号化オプション、たとえばマクロブロック（MB）、動きベクトルおよび符号化モードなどに対するエンコード上の決定をするために実際上普通に採用されている枠組みである。従来式のRD最適化は、再構成されたビデオともとのビデオの間の歪みのみを考える。フリッカーを低減し、よって知覚上のビデオ符号化品質を改善するため、RD最適化において、さらにフリッカー歪みを導入することができる。

フリッカーを測定するために広く使われている方法は、いわゆるSメトリック（S-metric）である。これは、符号化されたビデオ・シーケンス全体の全体的なIフレーム・フリッカー・アーチファクトを測定する。これは

と定義される。

ここで、関係するフレームは、シーケンス中のすべての場面変化でない（non-scene-change）Iフレームを含む。すなわち、フレームnは場面変化でないIフレーム（I-frame）を表し、フレームn−1はフレームnの前に再生されるフレームである。場面変化のIフレームは除外されていることを注意しておく。フリッカーは典型的には同じ場面内のフレームについてのみ起こるからである。さらに、f^j _n,iおよび＾付きのf^j _n,iはそれぞれ、フレームn内のMB iのもとのピクセル（pixel）jおよび再構成されたピクセルjを表す。MはMB中の全ピクセル数を表し、N_{static_MBs}はすべての場面変化でないIフレームにおける静的な（static）MBの総数を表す。フリッカーは、静的なMBでのみ起こるとする。静的なMBは次のように定義される。

フレームn内のMB iは、その平均差分絶対値（MAD: mean-absolute-difference）が小さい、すなわち

である場合に静的なMBである。

実際上は、パラメータεはたとえば10である。MADの代わりに、たとえば平均平方差（MSD: mean-square-difference）のような別の指標に基づいて(1)および(2)を定義することもできることを注意しておく。この場合、パラメータεはたとえば500にセットする。

Sメトリックは、さまざまなIフレーム・フリッカー除去方式の性能を評価するために広く使われてきた。しかしながら、実際上は、実験からすると、Sメトリックは実際にはかなり粗いモデルである。たとえば、シーケンス全体の全体的なIフレーム・フリッカーを測定するためにのみ適用可能であり、各単一フレームのフリッカーを一般的に測定するのに適用すると失敗する。Sメトリックは、式(1)における一組のIフレームにわたる和から明らかなように、シーケンスに適用されることを意図されていることを注意しておく。この和を除去すると、フレームごとの結果を与えるメトリックになるが、その結果は下記で論じるように信頼できるものではない。

上記メトリックの一つの根本的な欠陥は、各ピクセルにおけるフリッカーを測定するために

を使うことは、｜f^j _n,i−f^j _n-1,i｜が小さい（たとえば10より小さい）場合にのみ正確であるということである。しかしながら、MB全体について小さなMADであっても、いくつかの個別のピクセルの｜f^j _n,i−f^j _n-1,i｜は大きい（たとえば100程度）ことがありうる。この場合、実際にはほとんどフリッカーを起こさない、小さな

のピクセルが、大きな

すなわち上記メトリックでの大きなフリッカー歪みに導くことになる。一例として、図１は式(1)を（一組のIフレームにわたる和を除去することによって）フレームごとのフリッカー・アーチファクトを測定するために適用した結果を示している。図１は、既存のフリッカー・メトリックを使って、横軸１０に沿ったフレーム番号に対して縦軸２０に沿ったフリッカー歪みを示している。シーケンスは30f/sで150フレームのCIFシーケンス「Bus」であり、300kb/s、ピクチャー・グループ（GOP: group-of-picture）当たり30フレームで符号化されている。場面変化でないIフレームはすべて丸３０でマークされており、残りのフレームはみなPフレームである。視覚的には、有意なフリッカーは指示されているIフレームにおいて観察され、Pフレームではほとんとフリッカーがない。しかしながら、図１に見られるように、既存のメトリックはその違いを正しく反映するものではない。

既存のメトリックのもう一つの欠点は、静的なMBが、二つの相続くフレームにおける厳密に同じ位置における静的なマクロブロックであるということである。すなわち、動き補償が含まれていない。しかしながら、フリッカー・アーチファクトは、完全に静的な領域のみならず、低動き領域においても知覚可能であることがありうる。よって、低動きのMBもフリッカー歪み計算に含められるべきである。しかしながら、動き補償なしでは、非常に動きの少ないMBでさえ大きなフレーム間MB差をもつことがありうる。よって、そのような低動きMBが不適切に計算から除外されてしまい、このこともメトリックの正確さを損なう。

各単一フレームのフリッカーをいつでも正確に測定できる方法が提供される。該方法は、正確な知覚上の品質評価および効果的なフリッカー低減方式の開発のために一般に適用できる。

フリッカー測定方法は、まず、第一のピクチャーと第二のピクチャーにおける対応する位置におけるピクセル値の間の差に基づいてもとの値を決定する。次に、再構成された値が、第一のピクチャーのエンコードからの再構成および第二のピクチャーのエンコードからの再構成における対応する位置におけるピクセル値の間の差に基づいて、決定される。次いで、第一のピクチャーと第二のピクチャーとの間のフリッカーの測定において、再構成された値ともとの値との間の差に基づいて決定される比較値を含める決定がなされる。

本発明について、付属の図面を参照しつつ、実施形態を参照しながら以下でより詳細に説明する。

よく知られたフリッカー・メトリックを使うときの、フレーム番号に対するフリッカー歪みのグラフ表現である。 動き補償なしで提案されるフリッカー・メトリックを使うときの、フレーム番号に対するフリッカー歪みのグラフ表現である。 提案されるフレームごとのフリッカー歪みメトリックの流れ図である。

本発明について、これからより詳細に述べる。ここで、付属の図面および数式に例示される本発明の諸実装を詳細に参照する。

少なくとも一つの実装では、フレームごとのフリッカー・アーチファクトを正確に測定し、既存のSメトリックよりよい測定性能を出すフリッカー測定方法が提供される。実験によれば、提供される方法は常時フレームのフリッカーを正確に測定することが示される。すなわち、本方法はフレームごとにフリッカーを正確に測定する（実際、本方法は、マクロブロックごとにフリッカーを正確に測定する）。提案される信頼できる方法は、正確な知覚上の品質評価または効果的なフリッカー低減技法の開発のために一般に適用できる。

本発明およびある実装に基づく提案される方法は、次のように定義される。フレームnのフリッカー歪みは

として計算される。

ここで、N_MBsは所与のフレーム内での静的なMBの総数であり、mvはMBの動きベクトル（MV: motion vector）を表し、フレームn−1のMB i+mvはフレームnのMB iについての動き補償の基準を表す。

既存の方法、Sメトリックと同様に、提案される方法は、差分絶対値のほかに他の歪み指標、たとえば平方差に基づくこともできる。

提案される方法では、既存の方法、Sメトリックから少なくとも三つの変更点がある。「max」関数が使用され、提案される方法はピクセル差を異なる仕方で計算する。さらに、提案される方法は動き補償を含み、いつでも、フレームごとに実行される。既存の方法、Sメトリックは、一連のフレームに対する測定を含む。

式(1)に詳しく示される既存のモデルを式(3)に開示される提案される方法と比較すると、根本的かつ重要な変更点は、ピクセルのフリッカーが式(3)に示されるように

で測られるということである。この変化を孤立させるため、ピクセルのフリッカーは、動き情報を含めるようにSメトリックを拡張したとした場合に予言されるように

によって測られるのではない。ここで、変化を、動きについての調整ではなく、ピクセル・ベースのフリッカー測定の形で記述する。提案される方法では、｜f^j _n,i−f^j _n-1,i｜は実際には、フリッカーに対する最小知覚可能差（JND: just-noticeable-difference）閾値のはたらきをする。この閾値より下ではフリッカーは感知されないと想定される。ピクセル・ベースの計算を孤立させるために、ここで、動き情報が議論に含められることを注意しておくべきであろう。

｜f^j _n,i−f^j _n-1,i｜が大きい場合、フリッカーをマスキングするJND閾値も大きいことは明らかである。よって、小さな

はマスクし去られ、全体的なフリッカー歪みに寄与しない。これは、小さな

が常になめらかな光学的な流れを表し、よってほとんどフリッカー・アーチファクトがないという実際の見る経験とよく相関している。この根本的な変化のため、提案される方法は、既存のモデルに対してパフォーマンスにおいてより優れ、よって任意の個別フレームのフレーム・レベルのフリッカー・アーチファクトを正確に測定するために適用でき、場面変化でないIフレームに制限されない。根底にある目標画像が少なくとも同じくらい大きな差を有していたら、再構成される画像における変化は、歪み計算からマスクし去られることができる。

一例として、図２は、図１と同じシーケンスおよび符号化設定について、フレームごとのフリッカー測定結果を示している。図２は、本発明に基づくフリッカー・メトリックを使って、横軸１０に沿ったフレーム番号に対して縦軸２０に沿ったフリッカー歪みを示している。ここでもまた、場面変化でないIフレームは丸３０で示されている。図２は、提案される方法によって、PフレームにおけるよりもIフレームにおいてフリッカー・アーチファクトが実質的に強くなるという事実が適正に検出されることを明確に示している。さらに、図２は、動き補償なしで実行される測定の一例を示している。

提案される方法では、静的なMBの定義は、完全に静的なまたは動きの少ないMBにおけるフリッカー・アーチファクトに対応するためにある程度の動き補償をも含む。これは、より正確なフリッカー・モデル化性能につながる。静的なMBは

であるMBとして定義される。

動き推定は典型的には、限られた検索範囲（たとえば3ピクセル以内）にわたって実施される。この範囲の外では、フリッカーはすべて高い動きによってマスクし去られるものと想定される。さらに、動き推定において、全ピクセル探索よりもサブピクセルMV探索のほうが一般にずっと正確な結果を与えるので、一般に、実際上、より好ましい。

フリッカーを測定するための提案される方法の優れたパフォーマンスは、ピクセルごとのフリッカー・アーチファクトを計算するために

を使うことによっても提供される。ここでもまた、動き情報は、形の上で変化を孤立させるために除去されている。すなわち、動き情報を含めなくても、提案される方法は既存の方法、Sメトリックより優れたパフォーマンスを提供する。動き補償を使えばモデル化精度はさらに改善される。ただし、これは一般に計算量の増加という代償を払ってのことになる。したがって、実際上は、実際のシステムの能力に基づいて動き補償を使うか否かを決定できる。すなわち、いかなる所与の実装についても、前記の追加的な計算量という代償を払えるかどうかおよび／または前記の追加的な計算量が精度向上によって正当化されるかどうかを判定できる。

前記した、より優れたパフォーマンスのため、フリッカーを測定する提案される方法は、効果的なフリッカー削減技法を開発するために適用できる。たとえば、本方法は、正確なピクセル・ベースのメトリック計算を提供し、よって（フレームだけでなく）個々の各MBのフリッカーを正確に測定する。したがって、フリッカーを測定するための提案される方法は、さまざまな符号化パラメータ、たとえばMV、量子化パラメータまたはMB符号化モードなどを最適化するための広く採用されているRD最適化枠組みの中に統合できる。これに対し、既存のフリッカー・メトリックは、フレーム・レベルで十分なモデル化精度をもたず、よってMBレベルでも十分なモデル化精度をもたず、したがって標準的なRD最適化枠組みの中に統合するのに好適ではないことが示されている。

図３は、フレームごとのフリッカー歪みを測定するための提案される方法の一つの実施形態の計算フローチャートを表す。本質的には、ブロック１００内に与えられる各ビデオ・フレームnについて、ブロック１１０において表されるように、現在フレームnおよび直前フレームn−1がもとの入力ビデオおよび再構成されたビデオから取り出される。ここで、フレームごとの歪みメトリックD_{Flicker_Frm}がブロック１２０に表されている。ブロック１３０に表される各マクロブロックMBについて、ブロック１４０に表されるように、限られた探索範囲（たとえば3ピクセル以内）にわたって動き推定が実施される。これに判断ブロック１４５が続く。前記範囲の外では、フリッカーは高度な動きによってみなマスクし去られると想定される。さらに、動き推定において、当該マクロブロックの最小の平均差分絶対値MADをもつ最良の動きベクトルMVを見出すためにサブピクセル推定が実行される。MADがフリッカーに対する最小知覚可能差（JND）閾値より下であれば、ブロック１６０に整合して、フリッカーは認識されない。しかしながら、MADがその閾値より大きければ、ピクセルごとのフリッカー・アーチファクトがブロック１５０で計算される。判断分枝ブロック１５０、１６０にマクロブロック終端ブロック１７０が続く。これは、フレームの集合全体を通じて、フレームごとに、またMBごとに実行される。したがって、提案される方法は、ビデオ・シーケンス全体を通じて、（１）ピクセル・レベル（ブロック１００〜１２０）、（２）MBレベル（ブロック１３０〜１７０）および（３）フレーム・レベル（ブロック１８０〜２００）のうちの一つまたは複数においてフリッカーを正確に測定できる。

個別的な特徴および側面をもつ一つまたは複数の実装が提供される。しかしながら、記載される実装の特徴および側面は、他の実装のためにも適応されうる。たとえば、記載されるメトリックは、異なる実装においてはいくつかの仕方で変更できる。こうした仕方のいくつかは、たとえば、式(4)における閾値を調整する、式(4)において異なるメトリック（たとえば平方差に基づくもの）を使うまたは式(3)における「max」表式を調整してある閾値より大きくない差は無視するようにする、ことを含む。本稿に記載される実装は具体的なコンテキストにおいて記述されていることがあるが、そのような記述は、決して、特徴および概念をそのような実装またはコンテキストに限定するものと解釈すべきではない。

本稿に記載される実装は、たとえば、方法もしくはプロセス、装置またはソフトウェア・プログラムにおいて実装されうる。単一の形の実装のコンテキストでのみ論じられていたとしても（たとえば方法としてのみ論じられていたとしても）、論じられる実装または特徴は他の形（たとえば装置またはプログラム）でも実装されうる。装置は、たとえば、適切なハードウェア、ソフトウェアおよびファームウェアにおいて実装されうる。方法は、たとえば、コンピュータまたは他の処理デバイスなどのような装置において実装されてもよい。さらに、方法は、処理デバイスまたは他の装置によって実行される命令によって実装されてもよく、そのような命令は、たとえばCDまたは他のコンピュータ可読記憶デバイスまたは集積回路といったコンピュータ可読媒体上に記憶されていてもよい。さらに、コンピュータ可読記憶媒体は実装によって生成されるデータ値を記憶してもよい。

当業者には明白なはずだが、諸実装は、たとえば記憶または伝送されうる情報を担持するようフォーマットされた信号を生成することもありうる。該情報は、たとえば、記載される実装の一つによる、方法を実行するための命令または生成されるデータを含みうる。

さらに、多くの実装は、エンコーダ、エンコーダのプリプロセッサ、デコーダまたはデコーダのポストプロセッサのうちの一つまたは複数において実装されてもよい。

本発明の実装（たとえば方法または装置または一組の命令）では、歪み計算から、隣接する再構成されたピクチャー（またはフレーム）における対応するピクセルにおける差を、該差が根底にある目標画像における対応する差より大きくない場合にマスクするIフレーム・フリッカーを測定する方法が提供される。さらに、どのピクセルとどのピクセルが互いに対応するかを決定するために動き推定が使用される。

当業者には明白なはずだが、諸実装は、Iフレーム・フリッカーの測定を通信するようフォーマットされた信号をも生成しうる。

一つまたは複数の実装に基づくフリッカーの指標の生成、収集、記憶、送信、受信および／または処理が本開示に記載される。

本発明によれば、記載された実装の一つに従って動作できるまたは記載された実装の一つと通信するデバイス（たとえばエンコーダ、デコーダ、プリプロセッサまたはポストプロセッサ）のほか、本開示において記載されている実装に従ってIフレーム・フリッカーの指標を記憶するための、あるいは本開示において記載される実装の一つまたは複数に従ってIフレーム・フリッカーを測定するための命令の組を記憶するためのデバイス（たとえばコンピュータ可読媒体にような）が考えられている。

さらに、本発明の優れた点によれば、本開示に記載されるようなIフレーム・フリッカーの指標に関係する情報を含めるような仕方でフォーマットされている信号が考えられる。該信号は電磁波またはベースバンド信号であってもよい。ここで、前記情報は残差データ、動きベクトル・データおよび参照インジケータ・データのうちの一つまたは複数を含む。

さらに、他の実装が本開示によって考えられる。たとえば、開示された実装のさまざまな特徴を組み合わせる、削除する、修正するまたは補完することによって追加的な実装が作り出されてもよい。さらに、本発明は、上記に開示された方法を実行でき、該方法を歪みを減らすために適用できる単数または複数のデバイスを含むことが意図されている。

Claims (5)

1. 第一のピクチャーと第二のピクチャーにおける対応する位置におけるピクセル値の間の差に基づいてもとの値を決定する段階と；
   再構成値を、前記第一のピクチャーのエンコードからの再構成および前記第二のピクチャーのエンコードからの再構成における対応する位置におけるピクセル値の間の差に基づいて、決定する段階と；
   前記再構成値と前記もとの値との間の差に基づいて比較値を決定する段階と；
   前記第一のピクチャーと前記第二のピクチャーとの間のフリッカーの測定において、前記比較値を含めることを、前記比較値に基づいて前記比較値がある閾値より大きい場合に決定する段階とを有する、
   方法。
2. 前記もとの値は、前記第一のピクチャーと前記第二のピクチャーにおける対応する位置におけるピクセル値の間の差の絶対値に等しい、請求項１記載の方法。
3. 前記再構成値は、前記第一のピクチャーのエンコードからの再構成と前記第二のピクチャーのエンコードからの再構成における対応する位置におけるピクセル値の間の差の絶対値に等しい、請求項２記載の方法。
4. 前記比較値は、前記再構成値から前記もとの値を引いたものに等しい、請求項３記載の方法。
5. フリッカーの測定において前記比較値を含めるかどうかを決定して、フリッカーの該測定をフリッカーを低減させる手段において適用する段階を含む、請求項１記載の方法。

Images