JP6009578B2 - 映像ビットストリーム内の品質欠陥を検知するための方法及び装置 - Google Patents

Description

本出願は、映像シーケンス内の品質欠陥を検知するための方法；映像シーケンス内の品質欠陥を検知するための装置；及びコンピュータ可読媒体に関する。

ブロックベースの符号化は、ＪＣＴ−ＶＣで開発されている、Ｈ．２６３、ＭＰＥＧ−４ Ｖｉｓｕａｌ、ＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４として公知である）及び新たに登場したＨＥＶＣ／Ｈ．２６５規格等のコーデック規格を用いた、支配的な映像符号化技術である。これらのコーデックは、（異なる種類の予測を採用している）異なる種類のピクチャを用いて、可能な限り効率的に映像を圧縮する。イントラ符号化ピクチャ（Ｉピクチャ）は、ピクチャ内の区分からしか空間的に予測できない。予測ピクチャ（Ｐピクチャ）は、前に符号化されたＩピクチャ又はＰピクチャから予測される。双方向予測ピクチャ（Ｂピクチャ）は、先行するピクチャ及び／又は後続のピクチャから予測される。

他のピクチャから特定のピクチャを予測した結果は、特定のピクチャのオリジナル版とは異なる結果をもたらす傾向にある。ピクチャの予測とオリジナルのピクチャとの間の差異は、ピクチャの残差データと呼ばれる。残差データは、オリジナルピクチャを正確に再構築できるように予測命令と併せて伝達又は記憶される。残差データをより小さくするために、データを周波数領域に変換する。この目的のために、Ｈ．２６４／ＡＶＣでは、アダマール変換及び離散コサイン変換等の変換が、４×４又は２×２（クロマ）ブロックに対して用いられる。残差が変換されると、伝達又は記憶するべきデータを制限するために、変換データに対して量子化が実行される。実際の不可逆的圧縮が行われるのは、このステップにおいてである。量子化のレベルは、量子化パラメータ（ＱＰ）及び対応するルックアップテーブルによって判定される。ＱＰは、ピクチャレベルで設定されるが、マクロブロック（ＭＢ）レベルで設定されてもよい。

より高いＱＰは、残差データがより粗く量子化されることを意味し、従って、キャプチャされる残差データがより詳細でなくなり、再構築ピクチャとオリジナルピクチャとの一致がより低下する。より低いＱＰは、比較的詳細な残差データがキャプチャされ、再構築ピクチャはオリジナルピクチャとよく一致することを意味する。

エンコーダがＱＰをＭＢレベルで変更するには、かなり多くのビットを消費するため、ＱＰにおける大半の変化はピクチャ間で発生する。量子化を実行する際、量子化された変換後の残差は、エントロピー符号化によって符号化される。Ｈ．２６４／ＡＶＣでは、エントロピー符号化アルゴリズムの一つ、即ちＣＡＶＬＣ（コンテキスト適応的可変長符号化）又はＣＡＢＡＣ（コンテキスト適応的二値算術符号化）がこれに用いられる。

エラーを引き起こしやすいネットワークにおいてエラー復元力を上昇させるために、Ｉピクチャは通常、周期的に映像を更新するために挿入される。Ｉピクチャは、ランダムなアクセス及びチャネル切換えの目的でも周期的に挿入される。強制的なイントラピクチャをどの時点に挿入するべきかは、映像符号化規格では定義されておらず、その判定はエンコーダが担っている。典型的には、映像符号化規格は、映像ビットストリーム構文及び復号化処理を定義するが、符号化処理は定義しない。言い換えると、映像シーケンスを符号化する方法は規格化されていないが、その一方で符号化処理の出力は規格化されているということである。

固定及び移動通信ネットワークを通して、最初から最後までの映像の品質を保証するために、ネットワーク事業者及びブロードキャスト供給業者は、客観的映像品質モデルを利用してよい。客観的映像品質モデルは、主観的な品質評価の結果に近接する数学的モデルであるが、コンピュータプログラムにより客観的に測定及び自動的に評価できる、基準及びメトリクスに基づいている。

客観的映像品質モデルが生成する客観的スコアと主観的テスト結果との間でメトリクスを計算することにより、客観的映像品質モデルの性能を評価する。このメトリクスは例えば、主観的データと客観的データ又は平均二乗誤差との間の相関関係であってよい。主観的テスト結果は、複数のヒトのテスト対象の意見から得られた平均オピニオン評点（ＭＯＳ）からなるものであってよい。

知覚モデルは、客観的映像品質モデルの部分集合であると考えられる。客観的映像品質モデルは、いずれの自動化された品質評価手段を参照できるが、知覚モデルは、いずれの品質欠陥について視覚者が知覚するのはどの程度までかを判定することを試みている。知覚モデルは、復号化された映像シーケンスのピクセル情報を利用でき、フル参照モデルにおいては、参照信号は、処理後の映像の劣化を予測するために使用できる。知覚モデルの大きな欠点は、これらは通常多くの演算を必要とし、ネットワーク監視目的用の大規模な展開にはあまり適していないことである。

フル参照モデルより処理が軽い知覚品質モデルへの別のアプローチは、ネットワーク層プロトコルヘッダを、伝達された映像の品質推定のための入力として使用することである。このアプローチにより、極めて効率的にモデルを実装及び使用できるが、伝達された映像の品質推定はより粗くなる。従って、映像ビットストリーム品質モデルも実装してよい。このモデルは、符号化された初期ストリームを、ネットワークプロトコルヘッダに加えて入力として用い、極めて処理が軽いという利点を有し、及びネットワーク層プロトコルヘッダのみを用いる場合よりも、映像の品質のよりよい推定を得る可能性を有している。このような映像ビットストリーム品質モデルは、２つのモードで動作する。１つのモードでは、ビットストリームのフル復号化が可能であり、もう一方の複雑さがより低いモードでは、フル復号化ができない（従って、ピクセル情報が使用できない）。

Ｙ−Ｆ．Ｑｕ、Ｚ．Ｍａ及びＹ．Ｗａｎｇによる、２０１０年４４回年次会議、２０１０年３月１７〜１９日、Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＣＩＳＳ）に公開された非特許文献１は、フレームレート、量子化ステップ幅、並びにフレームレートの一時的な変化の、知覚品質への影響について述べている。

Ｃ．Ｙｉｍ及びＡ．Ｂｏｖｉｋによる、Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ２６（２０１１年）に公開された非特許文献２は、映像の一時的な品質における変化が映像品質全体に及ぼす効果について述べている。

従って、符号化された映像ビットストリームを復号化する必要のない、品質欠陥検知が必要とされている。このような品質欠陥検知は、品質モデルと併せて実装するのに適している。

Ｙ−Ｆ．Ｑｕ、Ｚ．Ｍａ及びＹ．Ｗａｎｇ著：「フレームレート、量子化ステップ幅、及びそれらの一時的な変化の知覚映像品質への影響のモデル化：最近の研究の再考」 Ｃ．Ｙｉｍ及びＡ．Ｂｏｖｉｋ著：「パケット損失ネットワークにおける、映像品質の一時的な変化の評価」

ブロック符号化映像ストリームの量子化パラメータ（ＱＰ）における急激な変化は、復号化された映像シーケンスにおいて顕著な品質欠陥を生じ得ることが認識されている。映像ビットストリームから符号化された映像シーケンスを復号化することを要求しない、このような欠陥を検知するための方法及び装置を説明する。ＱＰにおける変化の視覚的な影響の推定は、映像ビットストリームの総合的な品質を推定するために、映像ビットストリーム品質モデルの他のモデルパラメータと一緒に使用できる。本明細書で説明する解決策は従って、推定の精度を改善するものである。これにより、映像ビットストリームから映像シーケンスを復号化するための演算負荷がかからない、改善された映像ビットストリーム品質モデルを提供できる。

従って、映像シーケンスにおける品質欠陥を検知するための方法が提供される。本方法は、映像シーケンスを表す映像ビットストリームを受信することを含む。本方法は、映像シーケンスの各ピクチャについて量子化パラメータの大きさを判定することを更に含む。本方法は、量子化パラメータに急激な変化が起こった時に、品質欠陥を識別することを更に含む。

映像ビットストリームから映像シーケンスを復号化することなく、映像シーケンスを表す映像ビットストリームにおいて、特定の品質欠陥を識別できる。これは、デコーダを用いずにネットワークにおいて、映像ビットストリームの品質欠陥を識別できることを意味し、これにより、配信網を通るノードにおいて、より正確な品質推定が可能となる。

本方法は、映像シーケンスの各ピクチャがイントラ符号化ピクチャであるかどうかを判定すること、及びイントラ符号化ピクチャについて量子化パラメータに急激な変化が起こった時に、イントラピクチャフリッカとして品質欠陥を識別することを更に含む。

イントラピクチャフリッカは、量子化パラメータの急激な変化により引き起こされる品質欠陥の一種である。イントラ符号化ピクチャが量子化パラメータの頂点と一致する時に、イントラピクチャフリッカを識別してよい。イントラ符号化ピクチャとその隣接するインター符号化ピクチャとの間で、量子化パラメータに急激な変化が起こった時に、イントラピクチャフリッカを識別してよい。

本方法を品質推定モデルにおいて使用して、映像ビットストリームに表される映像シーケンスの知覚品質を判定できる。

映像シーケンスにおける品質欠陥を検知するための装置が更に提供され、この装置は、受信器及び欠陥モジュールを備える。受信器は、映像シーケンスを表す映像ビットストリームを受信するために配設される。欠陥モジュールは、映像シーケンスの各ピクチャについて量子化パラメータの大きさを判定するために配設され、かつ、更に、量子化パラメータの大きさに急激な変化が起こった時に、品質欠陥を識別するために配設される。

本装置は、映像シーケンスの各ピクチャがイントラ符号化ピクチャかどうかを判定するために配設される、ピクチャ型判定モジュールを更に含んでよい。フレーム内符号化ピクチャについての量子化パラメータの大きさに急激な変化が起こった時に、品質欠陥をイントラピクチャフリッカとして識別するために、欠陥モジュールを更に配設してよい。

本装置は、映像ビットストリーム及び欠陥モジュールからの欠陥指標を受信するために配設される、品質モジュールを更に含んでよく、この品質モジュールを、映像ビットストリームから再構築された映像の品質を推定するための品質モデルを適用するために、更に配設してよい。

コンピュータ可読媒体が更に提供され、このコンピュータ可読媒体は命令を保持し、コンピュータ論理がこの命令を実行すると、この命令は上記コンピュータ論理に、本明細書で定義される方法のいずれかを実行させる。

映像ビットストリームにおける品質欠陥を検知するための方法及び装置を、添付の図面を参照しながら、単なる例として説明する。

図１ａは、映像シーケンス内のあるシーンからの１枚のピクチャのサンプル断片を示す。 図１ｂは、映像シーケンス内のあるシーンからの１枚のピクチャのサンプル断片を示す。 図１ｃは、映像シーケンス内のあるシーンからの１枚のピクチャのサンプル断片を示す。 図２は、図１の映像シーケンスについてのピクチャ毎の平均ＱＰのグラフを示す。 図３は、第２の映像シーケンスについてのピクチャ毎の平均ＱＰのグラフを示す。 図４ａは、ＱＰにおける急激な変化の１つを示す。 図４ｂは、ＱＰにおける急激な変化の１つを示す。 図４ｃは、ＱＰにおける急激な変化の１つを示す。 図４ｄは、ＱＰにおける急激な変化の１つを示す。 図５は、本明細書で説明する方法を実行するための装置を示す。 図６は、ＱＰにおける急激な変化の検知を品質モデルに組み込む装置を示す。 図７は、本明細書で説明される方法を示す。 図８は、本明細書で説明される別の方法を示す。

知覚可能な品質欠陥を発生させる、量子化パラメータ（ＱＰ）の急激な変化が引き起こす品質欠陥の一例は、イントラピクチャフリッカである。イントラピクチャフリッカは、通常、エンコーダのビットレート制御（一定のビットレートで概ね一定の品質を保つという要求を維持できない）によって引き起こされる、符号化アーティファクトである。映像符号化におけるビットレート制御は、複雑なタスクであり、かつ、いずれの規格の一部でもない。知覚される品質を最高のものにするために、シーケンスのピクチャを通して利用可能なビット予算を最適に割り当てるレート制御の生成は、エンコーダの開発業者にゆだねられている。レート制御要求は極めて異なっていることがある。テレビ電話のためのレート制御は、映像の低遅延を維持するには厳密すぎることがある。これは、各ピクチャに対して一定のビット予算を維持することを意味する。携帯ＴＶの放送のような、一方向の映像は、通常、ある一定の時間間隔（例えば１〜２秒）に対してビット予算を有する、より緩和されたビットレート制御要求を有する。統計的多重化を実装し、各シーケンスの符号化需要に対する複数の並行映像シーケンスに渡って固定量のバンド幅を分散させることにより、符号化された映像のレートに、より柔軟性を提供できる。いくつかの符号化構成では、エンコーダは後続のピクチャへのアクセスを有さず、（１パス符号化としても公知の）オンザフライ（ｏｎ−ｔｈｅ−ｆｌｙ）で符号化パラメータを選択しなければならない。これらの及びその他の理由のために、符号化中のビットレートは映像シーケンスのピクチャ間で最適に配分できない。

イントラピクチャフリッカは、シーンを符号化する際に周期的なイントラピクチャが使用される時に発生する。このアーティファクトは、レート制御の要求がより一致し難くなることがある中〜低のビットレートにおいて、主に視覚可能である。しかしながら、アーティファクトは、高いビットレートが使用される場合でも視覚可能である。イントラピクチャフリッカは、静止シーンにおいて、及び中間（Ｐ及びＢ）ピクチャが符号化において消費するビットが比較的少なく（ただし、イントラピクチャは高負荷である）、シーン内の動きによりアーティファクトがマスクされない場合に、現れやすい。

典型的なイントラピクチャフリッカアーティファクトが図１に示されている。図１は、映像シーケンスＡ内の１つのシーンから３枚のピクチャの拡大した断片を示す。図１ａは、シーケンスＡのピクチャ１９９の一部であり、このピクチャは、２６の平均ＱＰで符号化されたインター符号化ピクチャである。図１ｂは、シーケンスＡのピクチャ２００の一部であり、このピクチャは３６の平均ＱＰで符号化されたイントラ符号化ピクチャである。図１ｃは、シーケンスＡのピクチャ２０１の一部であり、このピクチャは２８の平均ＱＰで符号化されたインター符号化ピクチャである。映像シーケンスのピクチャ２００において、ＱＰがより高いことは、他の２枚のピクチャと比べてこのピクチャが不明瞭であることから明白である。

映像シーケンスＡの内容は、比較的静止している自然であり、放牧されている牛を描画している。このシーケンスは、Ｈ．２６４／ＡＶＣの標準エンコーダであるＪＭを用いて、符号化及び復号化されている。ピクチャ１９９及び２０１は、インターピクチャとして比較的低いＱＰで符号化されている。中央のピクチャ２００は、レート制御の制約及びイントラピクチャはインターピクチャよりも符号化するのにさらに多くのビットを消費するという事実により、イントラピクチャとして比較的高いＱＰで符号化されている。順番に再生されたピクチャを見ると、明白かつ不快なフリッカが見られる。画像内の空間的な詳細はピクチャ２００では消えているが、ピクチャ２０１で再び現れている。

このようなイントラピクチャフリッカは、様々なエンコーダによる映像ビットストリームにおいて見ることができる。これはエンコーダビットレート制御戦略の一部ではなく、このような戦略に従うことに失敗した結果である。映像コーデック規格は、エンコーダの挙動ではなく、むしろデコーダが復号化するビットストリームの構文をカバーするものであるため、符号化による多くの異なる解決策が存在する。このような符号化による解決策の中には、他の解決策よりもイントラピクチャフリッカ問題に良好に対処できるものもある。

統計的多重化が使用され、符号化が容易なチャネルが、周期的なイントラフレームを正しく処理するのに十分なビットを取得していない場合に、このような欠陥の検知は特に重要である。利用可能なビットレートが少なく、かつ符号化のフレーム毎の複雑さに変化が無い場合、より低い解像度（例えば携帯ＴＶの場合）において問題の更なる悪化が予想される。例えば、ＨＤＴＶ用の「中間」ビットレートの０．５秒の周期的なイントラ期間は、通常問題ないが、「中間」ビットレートの０．５秒の周期的なイントラ期間を携帯ＴＶ（例えば３２０×２４０ピクセル）に使用すると、イントラピクチャフリッカが極めて引き起こされやすくなる。

ＱＰ値を監視することにより、出現するこの品質低下を検知する方法及び装置が本明細書で提供される。インターピクチャと後続のイントラピクチャとの間でＱＰ値がある一定量増加すると、及び次にやって来るインターピクチャについてＱＰ値がある一定量減少すると、イントラピクチャフリッカが検知される。好ましい実施形態では、ＱＰは比較される先行する各ピクチャを通して平均化されている。別の実施形態では、ＱＰの差異は、マクロブロック毎に計算され、この差異は全てのマクロブロックを通して平均化される。

図２は、シーケンスＡについてのピクチャ毎の平均ＱＰのグラフを示す。イントラピクチャフリッカはピクチャ番号２００に存在する。イントラピクチャフリッカを発生させるＱＰの頂点は、グラフ上に丸でマークされている。シーケンスは、ピクチャ番号１３０及び２５０において、（矢印でマークされた）２回のシーンカットを含む。シーンカットが発生する時、ＱＰは大きく増加するにもかかわらず、ユーザには不快感を与えないので、明らかな品質欠陥として解釈されない。これは、シーンが変わり、古いシーンのピクチャと新しいシーンのピクチャとの間の品質の差異が、視覚者には明らかではないからである。それでも、インターピクチャとイントラピクチャとの間でＱＰが増加した時に、その後減少が無い場合、（シーンカットの後又はシーンの途中に）符号化されたピクチャ品質は唐突に低下することを、検知することにより識別してよい。

図２のグラフもまた、位置〜１１０、〜１５５及び〜３０５において頂点が少し多い場合を示している。ＱＰはここでインターピクチャの数枚を通して増加するので、視覚者が視覚するのは難しい。インターピクチャは先行するピクチャから予測されるので、数枚のピクチャについての残差の適合度の減少は、見た目の品質にそれほど影響しない（空間的な詳細が正確でなくても、適切な量の空間的な詳細がピクチャの参照から導入されることが期待されている）。以下の疑似コードは、イントラピクチャフリッカ及びそれに呼応する符号化品質の急激な低下をどのように検知できるかを示す：
ｉｆ （ｐｉｃ_ｎ ＝＝ ｉｎｔｅｒ ａｎｄ ｐｉｃ_ｎ＋１ ＝＝ ｉｎｔｒａ ａｎｄ ＱＰ_ｎ＋１ − ＱＰ_ｎ ＞ ｔｈｒｅｓｈｏｌｄ ｔ_１） ｛
ｉｆ （ｐｉｃ_ｎ＋１ ＝＝ ｓｃｅｎｅ＿ｃｕｔ）
新しいシーンで符号化品質の低下を検知
ｅｌｓｅ ｉｆ （ＱＰ_ｎ＋１ - ＱＰ_ｎ＋２ ＞ ｔｈｒｅｓｈｏｌｄ ｔ_２） ｛
イントラピクチャフリッカを検知
｝ ｅｌｓｅ ｛
符号化品質の低下を検知
｝
｝

図３は、第２の映像シーケンスＢについてのピクチャ毎の平均ＱＰのグラフを示す。このシーケンスは、ニュースの読み手を描画している。ここではほぼ読み手の唇のみが運動している。ピクチャは５０枚毎に、イントラ符号化ピクチャとして符号化される。シーンは極めて静的であるため、インター予測は、少量の残差データで比較的正確になり、比較的低いＱＰをインターピクチャに提供できる。従ってエンコーダは、比較的低いビットレートを用いて、インターピクチャを符号化できる。しかしながら、周期的なイントラピクチャが符号化処理を受ける時、符号化するにはビットを多く消費するので、ビットレート需要において急激な変動を引き起こすことなくそれに対応するために、ＱＰを大幅に上昇させなければならない。更に、周期的なイントラピクチャを挿入すると、レート制御が不均衡に設定され、周期的なイントラピクチャの後に続くインターピクチャのＱＰの増加をもたらす。このシーケンスでは５個の大きなイントラピクチャフリッカが見られ、これらは、図３のグラフに丸でマークされている。

周期的なイントラピクチャの後続の数枚のピクチャにおける高いＱＰ頂点は、シーケンスＡで説明したものと同じ理由で品質に影響しない。インターピクチャは、先行する（良好な品質の）ピクチャから予測され、残差の適合度の減少は、インターピクチャの数枚を通して知覚される品質にはそれほど影響しない。

シーケンスを通したＱＰの範囲は、シーケンスの品質の分布にも影響する。品質の全範囲は以下のように計算できる。
ＱＰ_{ｒａｎｇｅ}＝ＱＰ_ｍａｘ−ＱＰ_ｍｉｎ

イントラピクチャフリッカは、符号化された映像シーケンスで品質欠陥を引き起こす、ＱＰにおける急激な変化の単なる一例に過ぎない。図４は、ＱＰにおける急激な変化の４つの種類：図４ａでは頂点；図４ｂでは谷；図４ｃでは上がり段；図４ｄでは下り段を示す。頂点は上がり段に等しく、直後に下り段が続き、谷は下り段に等しく、直後に上り段が続く。

上述のイントラピクチャフリッカは、図４ａに表される頂点がイントラ符号化ピクチャと一致している場合に発生する。このような頂点は、上で述べた理由からイントラ符号化ピクチャと一致しやすく、その場合、シーンの空間的な詳細における急激な減少は、視覚者にも明白となりやすい。

図４ｂに表される谷は、シーン内の空間的な詳細の急激な増加として、視覚者に明白となり、イントラピクチャフリッカとして視覚者に不快感を与える。このような谷は、イントラピクチャと一致していても一致していなくても、明白となる。

図４ｃに示される上がり段でも、シーン内の空間的な詳細の解像度における急激な減少（不明瞭さの急激な増加）は視覚者に明白となる。このようなＱＰにおける上がり段差は、イントラピクチャと一致する場合に、より顕著になりやすい。

同様に、図４ｄに示される下り段差は、シーン内の空間的な詳細の解像度の急激な増加（不明瞭さの急激な減少）として、視覚者に明白となる。このようなＱＰにおける下り段差は、イントラピクチャと一致する場合に、より顕著になりやすい。

映像ビットストリームをフルで復号化すること無く、映像ビットストリームにおいてイントラピクチャフリッカをどのようにして検知するかを示してきた。ＱＰにおける急激な変化を検知する一般的な場合がどのようなものかも示してきた。この情報を用いて、映像ビットストリーム品質モデルによる品質推定の精度を改善できる。

図５は、本明細書で説明される方法を実行するための装置を示す。本装置は、受信器５１０及び欠陥モジュール５２０を備える。受信器５１０は、映像シーケンスを表す映像ビットストリームを受信するために配設される。欠陥モジュール５２０は、映像シーケンスの各ピクチャについて平均量子化パラメータの大きさを判定するため、及び量子化パラメータの大きさに急激な変化が発生した時に、品質欠陥を識別するために配設される。欠陥モジュール５２０により品質欠陥が識別されると、モジュールは欠陥検知指標を出力する。

図６は、ＱＰにおける急激な変化の検知を品質モデルに組み込む装置を示す。本装置は、受信器６１０、欠陥モジュール６２０、及び品質モジュール６３０を備える。受信器６１０は、映像シーケンスを表す映像ビットストリームを受信するために配設される。映像ビットストリームは、映像エンコーダ６４０でオリジナルの映像シーケンスを符号化することによって生成される。映像ビットストリームはまた、映像ビットストリームが復号化され、再構築された映像シーケンスが生成される、映像デコーダ６５０に受信される。欠陥モジュール６２０は、映像シーケンスの各ピクチャについて平均量子化パラメータの大きさを判定するため、及び量子化パラメータの大きさに急激な変化が発生した時に、品質欠陥を識別するために配設される。品質モジュール６３０は、欠陥モジュール６２０から映像ビットストリーム及び欠陥指標を受信する。品質モジュール６３０は、これらの入力を用いて、品質モデルを適用する及び映像ビットストリームから再構築された映像の品質を推定する。

映像ビットストリーム品質モデルは、以下の１つ又は複数を更に考慮してよい：
‐シーン内の空間的な詳細；
‐シーン内の運動量；
‐イントラピクチャフリッカの存在；
‐イントラピクチャフリッカが生じる回数；
‐イントラピクチャフリッカの周波数（ピクチャ毎又は毎秒）；
‐イントラピクチャフリッカイベント間の（時間又はピクチャの数に関する）距離；
‐イントラピクチャフリッカについてのＱＰにおける差異；
‐イントラピクチャから始まる符号化品質の低下についてのＱＰにおける差異；
‐イントラピクチャから始まる符号化品質における低下の継続時間；
‐イントラピクチャから始まる符号化品質の向上についてのＱＰにおける差異；
‐インターピクチャ全体を通したＱＰ頂点についてのＱＰにおける差異；
‐シーケンスについてのＱＰの範囲。
１つ又は複数のこれらの詳細を、映像ビットストリームの品質推定の計算に含んでよい。全体の品質モデルがどのように構成されるかは、本明細書の範囲ではないが、例えば、加法モデルのような線形モデル又は比例モデルのような非線形モデルであってよい。

例えば、ピクチャ内の空間的な詳細は、フーリエ解析又は離散コサイン変換等の周波数分析を用いて判定できる。高周波数部品の大きさ及び数により、空間的な詳細の大きさが提供される。ブロックベースの映像コーデックにより、画像及び残差データが周波数領域に符号化されるので、映像ビットストリームから、周波数部品に関連する係数を構文解析することにより、ピクチャの空間的な詳細の大きさを得ることができる。このような係数は、ＡＣ係数と呼ばれることがある。空間的な詳細の大きさを、品質評点への品質欠陥の影響を判定するために品質モデルが使用できる。空間的な詳細の大きさが高い場合、品質欠陥は、品質評点に対してより大きな影響を及ぼす。

更なる例として、ピクチャ内の運動量の大きさを、ピクチャ内のマクロブロックについてのモーションベクトルの平均規模により判定してよい。運動量の大きさを、品質評点への品質欠陥の影響を判定するために品質モデルが使用できる。運動量の大きさが高い場合、品質欠陥は、品質評点に対してより小さな影響を及ぼす。

図７は、本明細書に記載される方法を示している。７１０では、映像シーケンスを表す映像ビットストリームを受信する。７２０では、映像シーケンスの各ピクチャについての平均量子化パラメータの大きさを判定する。７３０では、量子化パラメータにおける急激な変化が発生した時に、品質欠陥を識別する。この品質欠陥を、映像ビットストリームから再構築された映像の品質を推定するために品質モデルが使用できる。

図８は、本明細書に記載される別の方法を示している。８１０では、映像シーケンスを表す映像ビットストリームを受信する。８２０では、映像シーケンスの各ピクチャについての平均量子化パラメータの大きさを判定する。８３０では、各ピクチャがＩピクチャかどうかを判定する。８４０では、現在のピクチャがＩピクチャとして識別され、かつ、現在のピクチャの量子化パラメータが先行するピクチャ及び後続のピクチャの両方の量子化パラメータよりも閾値分大きい時、イントラピクチャフリッカを識別する。このようなイントラピクチャフリッカの識別化を映像ビットストリームから再構築された映像の品質を推定するために、品質モデルが使用できる。

本明細書に記載される本方法及び本装置の利点は、これらにより、ビットストリームを復号化することなく、イントラピクチャフリッカ及び同様の品質欠陥を検知できる。これは、符号化品質において急激な低下が検知されることを意味する。これらの品質欠陥の見た目への影響の推定は、映像ビットストリーム品質モデルにより推定された品質の精度を改善するために使用できる。更に、映像ビットストリーム品質モデルは、品質を判定するためにビットストリームの復号化を必要としないので、リソースの処理、電力消費、物理的な空間等の点で映像ビットストリームの復号化が高負荷になりすぎる、分散ネットワークの一部において、映像品質監視を実行できる。

本明細書で記載した本方法で実行される実際の命令及び動作の内容が、実行パラメータの特定の組み合わせの要求に応じて変更できることは、当事者には明らかである。つまり、動作が記載され及び／又は請求される命令は、動作が実行される命令に対して厳しい制約として解釈されるものではない。

更に、特定の通信規格の文脈において実施例を提供してきたが、これらの実施例は、開示された方法及び装置に適用できる通信規格の制限を意図したものではない。例えば、具体的な実施例を、Ｈ．２６４の文脈で提供してきたが、本明細書に開示される原理は、ＭＰＥＧ−２、Ｈ．２６３、ＭＰＥＧ−４、ＨＥＶＣ／Ｈ．２６５又は他のコーデック、及び実際には、変換係数の量子化を用いたいずれの映像コーデックにも適用できる。

Claims (11)

1. 映像シーケンス内の品質欠陥を検知するための方法であって、
   映像シーケンスを表す映像ビットストリームを受信すること、
   前記映像シーケンスの各ピクチャについて量子化パラメータの大きさを判定すること、及び
   現在のピクチャの量子化パラメータの大きさが先行するピクチャの量子化パラメータの大きさよりも閾値量分、大きいと検知され、かつ現在のピクチャの量子化パラメータの大きさが後続のピクチャの量子化パラメータの大きさよりも閾値量分、大きいと検知される時に、品質欠陥を識別すること
   を含む、方法。
2. 前記映像シーケンスの各ピクチャがイントラ符号化ピクチャであるかどうかを判定すること、及び
   現在のイントラ符号化ピクチャの量子化パラメータの大きさが先行するピクチャの量子化パラメータの大きさよりも閾値量分、大きいと検知され、かつ現在のイントラ符号化ピクチャの量子化パラメータの大きさが後続のピクチャの量子化パラメータの大きさよりも閾値量分、大きいと検知される時に、イントラピクチャフリッカとして品質欠陥を識別すること
   を更に含む、請求項１に記載の方法。
3. 前記量子化パラメータの大きさにおける差異、
   前記ピクチャ内の空間的な詳細、及び
   前記ピクチャ内の運動量
   の少なくとも１つを更に測定することにより、前記品質欠陥の影響を判定することを更に含む、請求項１または２に記載の方法。
4. ピクチャについての前記量子化パラメータの前記大きさは、そのピクチャに使用される平均量子化パラメータである、請求項１から３のいずれか１項に記載の方法。
5. 前記映像ビットストリームによって表される前記映像シーケンスの知覚品質を判定するために、前記方法が品質推定モデルで使用される、請求項１から４のいずれか１項に記載の方法。
6. 前記映像ビットストリームは、Ｈ．２６４、ＭＰＥＧ−２、Ｈ．２６３、ＭＰＥＧ−４及びＨＥＶＣ／Ｈ．２６５のうちの少なくとも１つを使用して符号化される、請求項１から５のいずれか１項に記載の方法。
7. 映像シーケンスの品質欠陥を検知するための装置であって、
   映像シーケンスを表す映像ビットストリームを受信するために適合される受信器、及び
   前記映像シーケンスの各ピクチャについて量子化パラメータの大きさを判定するために適合される欠陥モジュールを備え、
   前記欠陥モジュールは、現在のピクチャの量子化パラメータの大きさが先行するピクチャの量子化パラメータの大きさよりも閾値量分、大きいと検知され、かつ現在のピクチャの量子化パラメータの大きさが後続のピクチャの量子化パラメータの大きさよりも閾値量分、大きいと検知される時に、品質欠陥を識別するよう適合されている、
   装置。
8. 前記映像シーケンスの各ピクチャがイントラ符号化ピクチャであるかどうかを判定するために適合される、ピクチャ種別判定モジュールを更に備え、
   前記欠陥モジュールは、現在のイントラ符号化ピクチャの量子化パラメータの大きさが先行するピクチャの量子化パラメータの大きさよりも閾値量分、大きいと検知され、かつ現在のイントラ符号化ピクチャの量子化パラメータの大きさが後続のピクチャの量子化パラメータの大きさよりも閾値量分、大きいと検知される時に、品質欠陥をイントラピクチャフリッカとして識別するように更に適合される、
   請求項７に記載の装置。
9. 前記映像ビットストリーム及び前記欠陥モジュールからの欠陥指標を受信するために適合される品質モジュールを更に備え、
   前記品質モジュールは、前記映像ビットストリームから再構築された映像の品質を推定するための品質モデルを適用するために更に適合される、
   請求項７又は８に記載の装置。
10. 前記品質モジュールは、
    量子化パラメータの大きさにおける差異、
    前記ピクチャ内の空間的詳細、及び
    前記ピクチャ内の運動量
    の少なくとも１つを更に測定することよって前記品質欠陥の規模を判定するように更に適合される、請求項９に記載の装置。
11. 命令を保持するコンピュータ可読媒体であって、
    前記命令はコンピュータにより実行されると、前記コンピュータに請求項１から６のいずれか１項に記載される前記方法を実行させる、コンピュータ可読媒体。

Images