JP6104301B2 - 映像品質推定技術 - Google Patents

Description

本開示は、概して映像品質を推定する技術に関し、特にビットストリーム基準における映像品質推定技術に関する。

今日、映像は一般的なメディアサービスの１つであり、エンドユーザにおいて急速に人気を得ている。ビットストリームとして通信ネットワークを介して配信された映像は、データ損失やデータ遅延等のエラーを引き起こしうる通信制限や問題を生じうる。このようなエラーは、エンドユーザにより体験される視覚的な品質低下を引き起こしうる。このような視覚的な品質低下は、大抵、画像のフリーズや歪みとして現れる。

品質モニタリングは、映像サービスの十分な体験品質（ＱｏＥ：Quality of Experience）を維持するための、サービスプロバイダにおける重要な動作スキームである。この目的のために、平凡なタスクではなく、正確にタイムリーに映像品質を評価する好適な技術が要求される。

恐らく、多くの精細な映像品質評価技術は、多数のエンドユーザの意見が収集され、それに基づいて品質の一般的意見が形成される主観的な検査である。しかしながら、主観的な検査は、高価で、手動で、時間を要し、そして例えば通信ネットワークやセットトップボックスにおいて映像品質モニタリングの主観的検査を行うことができない等、多くの場合簡単に実行できない。故に、客観的な測定に基づく、映像の主観的な品質を推定するための手段が提供される必要がある。この要求は、客観的な映像品質評価技術の開発を推進している。客観的な映像品質推定は、映像品質の評価において主観的な検査に取って代わりうるだけでなく、主観的な品質のリアルタイムかつ自動的な評価を可能としうる。

本開示のコンテキストにおいて、「推定する（estimate）」、「assess（評価する）」、「測定する（measure）」は、交換可能に用いられる。

近年、主観的な映像品質技術の異なるモデルが提案及び開発されてきている。使用される入力パラメータに基づけば、これらは知覚モデル及びパラメトリックモデルとしてカテゴライズされる。パラメトリックモデルは、ネットワークレイヤモデルとも知られている。

知覚モデルは、復号された映像やリファレンス映像をモデルへの入力として用いる。例えば、所謂フルリファレンス（ＦＲ）モデルには、ソース映像のピクセルデータ、及びこれらの復号された映像が入力パラメータである。知覚モデルは、通常映像品質の推定において高い精度を特徴としているが、とても複雑であり、時間を要し、かつリアルタイムモニタリング等の多くの状況において不適切となりうる計算パワーを必要とする。さらに、リファレンス映像が知覚モデルにおいて用いられる場合、モデルはリファレンス映像と復号された映像の同期についての決定的な問題を解決する努力が必要となる。

軽量映像品質モデル（light-weight video quality model）における利益は、パラメトリックモデルの近年の発展を導いている。パラメトリックモデルは、パケットヘッダ情報を入力として用い、情報に基づいて品質スコアを算出する。ネットワークプロトコルヘッダ情報は通常、Internet Protocol（ＩＰ）、User Datagram Protocol（ＵＤＰ）、Real-time Transport Protocol（ＲＴＰ）、及びMoving Picture Experts Group 2 Transport Stream（ＭＰＥＧ２ＴＳ）レイヤの１以上から用いられる。パラメトリックモデルは知覚モデルに比べて比較的単純であるが、その推定精度についてはネットワークプロトコルヘッダから取得されうる限定的な情報に起因してむしろ低い。例えば復号された映像におけるデータ損失の出現についての有用な推定を行うことは非常に難しい。

従って、映像品質を客観的に推定あるいは評価する改良技術が求められる。以下に示されるように、ここに示される技術は、他に比べて映像品質推定の十分な精度を達成し、同時に複雑性が少なく、かつ計算リソースの消費を少なくすることを達成する。

第１の態様によれば、映像品質推定方法が提供される。方法は、一連のピクチャフレームを有する映像ビットストリームを受信する工程と、ピクチャフレームにおけるエラー発生を判定する工程（例えばピクチャフレームにおいてエラーが発生したことの他、ピクチャフレームにおけるエラーの位置を判定する工程）と、エラーの時間的伝播及び空間的伝播の少なくともいずれかを考慮するエラー伝播を判定する工程（例えばエラーの時間的伝播及び空間的伝播の少なくともいずれかを判定する工程）と、及び上述の判定結果（例えば判定されたエラー伝播）に基づいて、映像ビットストリームの品質を推定する工程と、を有する。エラーは情報の遅延あるいは損失によって（例えばパケット、ピクチャフレーム、ピクチャフレームパーティション等の遅延あるいは損失によって）生じうる。さらに、品質推定工程は、採点方式に基づいてもよい。

方法はさらに、エラーによって生じた視覚的な品質低下を判定（例えば推定あるいは測定）する工程を有してもよい。換言すれば、本工程はエラーの視認性あるいは該エラーによって引き起こされる映像品質への影響を判定するものであり、視覚的な品質低下を判定する工程は、エラーによって引き起こされる視覚的な品質低下を示すペナルティ値を判定する工程を有する。

ピクチャフレームは、複数のパーティション（ピクセル、マクロブロック等、しかしこれに限定されない）を有するものであってもよい。エラーは、ピクチャフレームの１以上のパーティションにおいて発生する、あるいは１以上のパーティションに影響を及ぼしてもよい。また、拡がる効果を考慮し、１つのピクチャフレームにおいて発生したエラーは、１以上の他のピクチャフレームにおける１以上のパーティションに影響を及ぼしてもよい。故に、エラーによって引き起こされた視覚的な品質低下を判定する工程は、エラーの影響を受けたパーティションあるいはピクチャフレームの各々について分ペナルティ値を算出する工程を有してもよい。ペナルティ値は、エラーによって映像に引き起こされた視覚的な品質低下の量あるいは範囲を示す値である。

ペナルティ値は、ルールのセットに従って算出あるいは割り当てられてよい。ルールは予め設定可能であって、かつ適用可能であってよい。以下は、ペナルティ値を算出するためのルールの限定的なリストである。
・エラーがシーン変化において発生する場合に、エラーに対して（エラーがシーン変化
に関連しないエラーである場合よりも）高いペナルティ値が割り当てられる。
・ピクチャフレームのモーションあるいはピクチャフレームにおけるモーションが、エ
ラーによって引き起こされた視覚的な品質低下の判定に用いられてもよい。映像ビッ
トストリームが、エラーの影響を受けたピクチャフレームの直後のモーションデータ
を有する場合に、特にエラー直後にモーションが多い場合に、さらに特別には該モー
ションの相対的な大きさが大きい場合に、より高いペナルティ値が割り当てられる。
例えば、他にモーションが存在しないシーンにおける小規模のモーションエラーは、
動き率が高いシーンにおける中規模のモーションエラーよりも認識されやすい、即ち
視認可能であろう。
・パーティションがスキップあるいは推定スキップである場合に、エラーによる影響を
受けたパーティションに対してはペナルティ値を割り当てない。シーン変化や推定シ
ーン変化が存在する場合は、場合によっては本ルールは除外されてもよい。
・後続のピクチャフレームの少なくとも１つについてのエラーに割り当てられたペナル
ティ値を、所定量あるいは所定係数分減らす。例えば、ペナルティ値は後続するピク
チャフレームの各々で所定量あるいは所定係数分減らされてよい。
・ペナルティ値は、イントラ符号化ピクチャフレームあるいはイントラ符号化パーティ
ション（例えばイントラ符号化マクロブロック）を受信した際にリセットされる。

上述のルールの各々及び他のルールは、映像品質推定方法において選択的に実行されてよい。換言すれば、エラーによって引き起こされた視覚的な品質低下を判定するために、上記ルールのいかなる組み合わせを適用してもよい。

一連のピクチャフレームは、少なくとも１つの参照ピクチャ、及び参照ピクチャにおける位置を示す少なくとも１つのモーションベクトルを有する少なくとも１つの予測ピクチャを有し、エラーの時間的伝播及び／または空間的伝播は、予測ピクチャに含まれるモーションベクトルに基づいて判定されてもよい。一例において、エラー伝播は、モーションベクトル及び該モーションベクトルが示す参照ピクチャを追跡し続けることにより判定されてもよい。

パーティション情報及び判定された視覚的な品質低下を含む判定の結果は、損失ペナルティマップに配置、例えば格納されてもよい。損失ペナルティマップはテーブルのような２次元データ構造の形式をとってもよい。

損失ペナルティマップは、関連ピクチャ（即ち、符号化映像のピクセルマップ）と同一の解像度を有していてもよい。このことは、完全な忠実性で視覚的な品質低下を示すことの利点を提供する。しかしながら、技術の複雑性をより低くする傾向にある場合、損失ペネルティマップは関連ピクチャフレームあるいはピクセルマップよりも少ない解像度を有していてもよい。この目的のため、ペナルティ値はより低い解像度において算出されてもよい。例えば、ピクチャフレームは、各々が複数のピクセルを有する複数のパーティションを有していてもよい。パーティションは、（例えばパーティションマップのような）２次元データ構造の形式で構成されてもよい。この場合、損失ペナルティマップの解像度は、パーティションマップと同一に構成されてもよい。

技術の複雑性をさらに低下させるために、エラー伝播の判定、即ちエラーの時間的伝播及び空間的伝播の少なくともいずれかの判定は、以前のエラーについて判定された１以上の視覚的な品質低下値（例えばペナルティ値）に重みづけを行う工程をさらに有していてもよい。

エラー伝播及び該エラーによって引き起こされる視覚的な品質低下の判定に加えて、ここに示される映像品質推定方法は、視覚的な品質低下を合算し、合算結果に基づいて（品質）スコアを算出してもよい。エラーによって引き起こされる視覚的な品質低下は、時間及び空間の少なくともいずれかについて合算されてよい。故に、算出されたスコアは、映像ビットストリームの全体的な品質を示す働きをする。

視覚的な品質低下を合算する工程において、重みづけアルゴリズムが用いられてもよい。一実施形態において、影響を受けたパーティションあるいはピクチャフレームは、一様な方法で合算される。別の実施形態において、小さい値の視覚的な品質低下は、大きい視覚的な品質低下値よりも高い係数で重みづけがなされてよい。

合算は、時間において段階的に実行されてもよい。例えば、視覚的な品質低下値は、秒（例えば２５ピクチャフレームに対応）ごとに一様に加算されてもよいし、このとき他の関数がこれらの小さな加算を考慮するために用いられてもよい。

品質スコアは、定期的に、あるいはスライドウィンドウアプローチを用いて算出されてもよい。スライドウィンドウアプローチの一実施形態では、特定のウィンドウサイド、即ち所定期間についての新たなスコアが所定のレートで算出される。

上述した映像品質推定方法は、映像ビットストリーム品質推定モデルに基づくものであってもよい。映像ビットストリームは、１以上のパラメータを有する映像符号化レイヤ（ＶＣＬ）の少なくとも一部を有し、エラー発生を判定する工程、エラー伝播を判定する工程、及び映像品質を推定する工程の少なくとも１つは、映像ビットストリームの復号なしで少なくとも１以上のパラメータに基づくものであってもよい。ＶＣＬパラメータは、パーティション（例えばマクロブロック）パラメータ、イントラ符号化パラメータ、モーション関連パラメータ等を含んでいてもよい。

第２の態様によれば、コンピュータプログラムが複数のピクチャフレームを有する映像ビットストリームの品質を推定するために提供される。コンピュータプログラムは、コンピュータにおいて実行された場合に、コンピュータにここに説明される方法の工程を実行させるプログラムコード部を有する。コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に格納されていてもよく、ハードディスク、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭやフラッシュメモリの形であるメモリ等のコンピュータプログラム製品に含まれていてもよい。

第３の態様によれば、映像品質を推定する装置が提供される。装置は、一連のピクチャフレームを有する映像ビットストリームを受信する受信機と、ピクチャフレームにおけるエラー発生を判定する第１の判定器と、エラーの時間的伝播及び空間的伝播の少なくともいずれかを考慮するエラー伝播を判定する第２の判定器と、例えば判定されたエラー伝播等の判定結果に基づいて映像ビットストリームの品質を推定する推定器とを有する。

装置はさらに、エラーの視認性あるいはエラーにより引き起こされる視覚的な品質低下を判定する第３の判定器を有してもよい。特に第３の判定器は、エラーにより引き起こされる視覚的な品質低下を示すペナルティ値を判定することにより視覚的な品質低下を判定するように構成されてもよい。

エラーは、１以上のピクチャフレームの１以上のパーティションに影響を及ぼしてもよい。故に、第３の判定器はさらに、映像のエラーの影響を受けたパーティションの各々について、エラーによって引き起こされた視覚的な品質低下の量あるいは範囲の目安としてペナルティ値を算出することにより、視覚的な品質低下を判定するように構成されてもよい。

さらに第３の判定器は、以下のような、しかしながらこれに限定されない１以上のルールに従ってペナルティ値を算出するように構成されてもよい。
・エラーがシーン変化において発生した場合に、エラーに対してより高いペナルティ値
を割り当てる。
・ピクチャフレームのモーションが、エラーによって引き起こされた視覚的な品質低下
を判定（例えば推定あるいは測定）するために用いられてもよい。故に、映像ビット
ストリームがエラーの影響を受けたピクチャフレームの直後のモーションデータを含
む場合、特に該モーションの相対的な大きさが大きい場合に、エラーに対してより高
いペナルティ値を割り当てる。
・エラーの影響を受けたパーティションがスキップあるいは推定スキップである場合に
、該パーティションにペナルティ値を割り当てない。シーン変化や推定シーン変化が
存在する場合には、場合によっては本ルールは除外されてよい。
・後続のピクチャフレームの少なくとも１つについてのエラーに割り当てられたペナル
ティ値を、所定量あるいは所定係数分減らす。
・イントラ符号化パーティションあるいはイントラ符号化ピクチャフレームを受信した
際にペナルティ値をリセットする。

第３の判定器は、該ルールのいかなる組み合わせを適用してもよい。

一連のピクチャフレームは少なくとも１つの参照ピクチャ、及び該参照ピクチャにおける位置を示す少なくとも１つのモーションベクトルを有する少なくとも１つの予測ピクチャを有する。装置の第３の判定器は、モーションベクトル及び該モーションベクトルが示すサンショウピクチャを追跡し続けることにより、視覚的な品質低下の時間的伝播及び空間的伝播の少なくともいずれかを判定するように構成されてもよい。

エラーの影響を受けたピクチャフレームのモーションは、該エラーによって引き起こされた視覚的な品質低下を判定するために用いられてもよい。故に、第２の判定器はさらに、モーションベクトルに基づいて視覚的な品質低下を判定するように構成されてもよい。

装置はさらに、ピクチャフレームから抽出された２次元データ構造（例えば損失ペナルティマップ）において視覚的な品質低下を収集する収集器を有してもよい。

また装置は、時間及び空間の少なくともいずれかにおいてエラーによって引き起こされた視覚的な品質低下を合算する合算器を有してもよい。装置はさらに、合算結果に基づいて映像ビットストリームの品質を示すスコアを算出する算出器を有してもよい。

装置の上述した構成要素、及びいかなる他の追加の構成要素は、分離物理ユニットに実装されてもよい。また構成要素のいくつかあるいは全ては、１つのハウジング内に配置されてもよいが、映像サービス全体に加わる異なるノードあるいは端末内に分離することも可能である。受信機、第１の判定器、第２の判定器、第３の判定器、合算器、計算機、及び推定器の各々は、ＡＳＩＣ（Application Specific Integrated Circuit）及び／またはＤＳＰ（Digital Signal Processor）や、マイクロプロセッサのような少なくとも１つのプロセッサの組み合わせ等の特定のハードウェア回路、及びプロセッサにおいて実行される場合は上述のコンピュータプログラムとして実現されてもよい。故に、コンピュータプログラムは、プロセッサで実行された際に、上述の対応する工程の実行を装置に生成させる、受信モジュール、第１の判定モジュール、第２の判定モジュール、第３の判定モジュール、合算モジュール、算出モジュール、及び推定モジュールを有していてもよい。

第４の態様によれば、映像ビットストリームを提供するサーバノードが提供される。サーバノードは、上述の客観的な映像品質推定装置を有する。

第５の態様によれば、上述の客観的な映像品質推定装置を有し、映像ビットストリームを復号するクライアント端末が提供される。

第６の態様によれば、映像サーバノード及び映像クライアント端末間の通信用のネットワークノードが提供される。ネットワークノードは、上述の映像品質推定装置を有する。

ここでは映像品質推定技術は、Ｈ．２６４、Ｈ．２６３、ＭＰＥＧ−２、ＭＰＥＧ４等を含む、最も幅広く用いられている今日の映像符号化標準のような、あらゆる種類の技術において符号化された映像の品質を推定することに適している。ここに示される客観的な映像品質推定技術は、将来のいずれの映像符号化標準あるいは技術に適応されてもよい。

ここに示される映像品質推定技術は、いずれかの特定のサービスに限定されない。例えば、映像ストリーミング、モバイルテレビジョン、映像通話、ＩＰＴＶのようなインターネットマルチメディア、映像会議、及びリニアテレビジョン等の幅広いサービスに展開されうる。

以下、本開示は図に示される実施形態を参照して記述される。

映像品質推定技術のシステム実施形態を示したブロック図 例示的な映像符号化レイヤの構造を示した図 別の例示的な映像符号化レイヤの構造を示した図 例示的なインター符号化ピクチャフレームの構造を示した図 １６×１６パーティションについてのモーションベクトル予測の例を示した図 映像品質推定技術の方法実施形態を示した図 映像品質推定技術の機器実施形態を描いたブロック図 映像品質推定技術のコンピュータプログラム実施形態を示したブロック図 映像品質推定技術の別の方法実施形態を示したフローチャート 映像におけるパケット損失の例を示した映像スクリーンショット 損失ペナルティマップがオーバーレイされた、図８と同様の例を示した映像スクリーンショット 映像品質推定技術の別の機器実施形態を描いたブロック図 映像品質推定技術の別のコンピュータプログラム実施形態を示したブロック図 映像品質推定技術の更なる機器実施形態を描いたブロック図 映像品質推定技術の更なるコンピュータプログラム実施形態を示したブロック図 映像品質推定技術の一実施形態に係るペナルティ値集合のモデリングに用いられる、様々な値ｄについての有界ログ関数を示した図

以下において、限定ではなく説明の目的で、ここに示される客観的な映像品質推定技術の詳細な理解を提供するために具体的な詳細が説明される。これらの具体的な詳細から逸脱した実施形態において技術が実施されてもよいことは、同一の技術分野に属する当業者にとって明らかであろう。例えば、例示的な実施形態は図１の特有のネットワークレイアウトに関連して開示されるが、他のタイプのネットワークレイアウトに技術が容易に適用可能であることは、当業者によって容易に理解されよう。また例えば、例示的な実施形態はＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４、あるいはＨ．２６３標準に従った映像を参照して説明されるが、ここに示される客観的な映像品質推定技術は、Ｈ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４、及びＨ．２６３を含むほか、今日及び将来の映像符号化技術のその他の映像符号化技術や標準を含む、全てのタイプの符号化技術や標準を用いて符号化された映像の品質を推定するために用いられうる。さらに、ここに示される技術は、いずれかの特定のサービスに限定されず、映像ストリーミング、モバイルＴＶ、映像電話、ＩＰＴＶ、映像会議、リニアＴＶ等の幅広いサービスについて展開されてもよい。

当業者はさらに、ここに説明される技術がハードウェア回路、ソフトウェア、あるいはこれらの組み合わせにより実現されてもよいことを理解するだろう。ソフトウェアは、プログラムされたマイクロプロセッサや特定用途向け集積回路（ＡＳＩＣ）及びデジタル信号プロセッサ（ＤＳＰ）を用いる汎用コンピュータと連動してもよい。技術が方法として開示される場合、技術はコンピュータプロセッサ及びプロセッサと連結したメモリにおいて実現されてもよく、該メモリがプロセッサにより実行された際に方法を実現する１以上のプログラムにより符号化されていてもよいことは理解されるだろう。

上述の目的を実現するために、即ち低複雑性及び十分な推定精度の両方を担保するために、映像品質推定技術は、（パラメトリックモデルで使用されるような）ネットワークプロトコルヘッダ情報だけでなく、映像ビットストリームの映像符号化レイヤから得られた特定のパラメータに基づいて品質推定が実行されることによって示される。従って、技術はビットストリームモデルに基づくと言える。本技術は、従来のパラメトリックモデルよりも高い精度を有する映像品質推定の可能性を有すると同時に、特にリアルタイムモニタリングのような、あらゆる種類の映像品質モニタリングに適しているほどに軽量である。

図１は、ここに示される映像品質推定技術のシステム実施形態を示したブロック図である。図１に示されるように、映像ビットストリームは通信ネットワーク６を介して、映像サーバ２から映像クライアント端末４に送信される。少なくとも１つのネットワークノード８、あるいは「中間」ノードは通信ネットワーク上に存在し、映像送信に加わる。クライアント端末４に到達すると、映像はエンドユーザに提示するために復号される。

映像品質推定技術は、様々なノードあるいはターミナルにおいて実行されうる。例えば、技術は映像ビットストリームを提供するサーバノードにおいて実行されてもよい。サーバノードは、図１における映像サーバ２のような、通信ネットワーク６条の１以上のクライアント端末４や中間ノード８に対して映像ビットストリームを送信するノードである。特定の実施形態ではサーバノードは、映像ストリームを送信可能な、移動端末、ＴＶ放送サーバ、ビデオオンデマンドサーバ、あるいは汎用コンピュータであってよい。映像品質推定技術は、図１におけるクライアント端末４のような、映像ストリームを復号可能なクライアント端末において実行されてもよい。クライアント端末は、移動端末、コンピュータ、セットトップボックス、ゲーム機、ＴＶセット等であってよい。さらに、技術は図１におけるネットワークノード８のような、映像サーバノード２と映像クライアント端末４との間で通信するためのネットワークノードにおいて実行されてもよい。さらに、技術の構成昨日は、１以上のサーバノード、１以上のネットワークノード、及び１以上のクライアント端末におけるいずれの組み合わせ等、いくつかのノードや端末に渡って分けられてもよい。特定の実施形態で、技術はビットストリームパラメータがサーバ、ネットワークノード、クライアント端末の少なくとも１つから抽出され、該パラメータの処理がさらなるノードあるいは端末において実行されるように実行されてもよい。大事なことを言い忘れていたが、技術はコンテンツ制作のような少ない時間に制限される実施形態においても用いられてよい。

上述したように、ビットストリームモデルへの入力は、映像符号化レイヤから抽出されたパラメータを含む。これらのパラメータの更に理解するために、まず映像符号化レイヤの構成についての簡単な説明が、Ｈ．２６４、ＭＰＥＧ−２、及びＨ．２６３等の今日の特定の映像コーデック標準に従って構成された例示的な映像符号化レイヤを示す図２乃至５を参照して示される。

Ｈ．２６４、ＭＰＥＧ−２、及びＨ．２６３等の今日最も幅広く用いられている映像符号化標準は全て、パーティション基準のアプローチを用いている。パーティション基準映像コーデックにおいて、各映像ピクチャ（「映像フレーム」、「ピクチャフレーム」、あるいは単純に「ピクチャ」としても言及される）は、マクロブロック（ＭＢ）等のブロックとしても称される、より小さいパーティションに分割される。上述したコーデック標準について、マクロブロックのサイズは通常１６×１６ピクセルとして定義される。もちろん、パーティションは他の適切なサイズを採用してもよい。

上述した映像コーデック標準におけるピクチャは、イントラ符号化ピクチャ（Ｉピクチャ）、予測符号化ピクチャ（Ｐピクチャ）、あるいは双方向予測符号化ピクチャ（Ｂピクチャ）の３つの異なるタイプを有し得る。Ｉピクチャは、データ圧縮に現在のピクチャからの情報のみを用い、映像におけるランダムアクセスポイントとして用いられることが可能であり、Ｉピクチャ以前の潜在的なエラーがリフレッシュされることを保証する（Ｈ．２６４では完全なリフレッシュを保証するために、予測するＰピクチャ及びＢピクチャに用いられる１つの参照ピクチャのみはバッファに保持されるべきである。またＩＤＲピクチャがＩピクチャの代わりに用いられてもよい。）。Ｐピクチャは各予測について、１つの参照ピクチャから予測を行ってよい。Ｂピクチャは各予測について、２つの異なる参照ピクチャを用いてよい。ピクチャは、通常Ｉピクチャで開始して次のＩピクチャに先行するピクチャで終了するピクチャの集合（ＧＯＰ：groups of pictures）において順序づけられる。

図２は、Ｉピクチャ、Ｐピクチャ、及びＢピクチャを含むＧＯＰ構造の例を示している。

図３は、Ｉピクチャ及びＰピクチャのみを含むＧＯＰ構造の例を示している。

図４は、１１×９のマクロブロックを有するＱＣＩＦ映像（１７６×１４４画素）についてのＰピクチャの例を示している。図４に見られるように、Ｐピクチャは現在のピクチャからの情報のみを用いることが可能なイントラマクロブロック（Ｉ ＭＢ）と、予測により他のピクチャからの情報を用いる予測マクロブロック（Ｐ ＭＢ）とを含んでよい。マクロブロックは、より小さいパーティションに分割されうる。図４では、Ｐ ＭＢのパーティションのサイズは、１６×１６ピクセル、１６×８ピクセル、８×１６ピクセル、及び８×８ピクセルが示されている。Ｈ．２６４標準は、サブブロックとも呼ばれる、最小４×４ピクセルまでのサイズを有するこのようなパーティションを許容している。各Ｐ ＭＢのパーティションは、予測を行うために、既に復号された参照ピクチャにおける位置を指し示すモーションベクトル（ＭＶ）を用いる。図５には、１６×１６パーティションについてのＭＶ予測の例が示されている。映像符号化器は、既に復号されたピクチャから該当部分を復号器に単純コピーさせるマクロブロックをスキップすることによって、ビットの節約を選択してもよい。

映像符号化レイヤからは、様々なパラメータが映像品質を推定するためのビットストリーム品質モデルにより抽出され（あるいは抽出されたパラメータから生成され）、使用されうる。このようなパラメータの例は、
フレームタイプ、
ＧＯＰタイプ、
ＧＯＰ長、
受信／損失／破棄されたＩフレーム、Ｐフレーム、及びＢフレームパケットの数、
良好な／損傷したＩフレーム、Ｐフレーム、及びＢフレームの数、
モーション、及び
マクロブロック情報
が挙げられるが、これに限定はされない。パラメータは、ビットストリーム解析器により抽出されてよい。

上述したパラメータは別として、映像ビットストリームからの他の情報が、映像品質を推定するために用いられてもよい。本開示において示される映像品質推定技術の重要な態様は、ビットストリームの映像符号化レイヤにおいて発見される特性から、エラー伝播及び映像におけるエラーの視認性を推定することである。このようにすることで、より正確な映像品質推定スコアが算出されうる。

本開示のコンテキストにおいてエラーは、映像ビットストリームのパケットの損失や遅延のような、映像データの損失や遅延を含んでおり、映像データの損失や遅延の結果生じるものである。しかしながら、映像ビットストリームのデータ損失やデータ遅延の全てが、映像の品質において人間が知覚し得る影響を与えるとは限らないだろう。換言すれば、エラーの全てがエンド視聴者に主観的な視覚効果を有するとは限らないし、視覚的な品質低下として知覚されるとも限らないだろう。例えば、１つのＢフレームの損失は、該フレームにおいては他のフレームには依存しておらず、従って該１つのＢフレームに対応するごくわずかな瞬間についてのみ画像は歪められるため、わずかな影響をとなるだろう。しかしながら、参照フレーム（ＩフレームあるいはＰフレーム）の損失は、該参照フレームを参照するどのＰフレームあるいはＢフレームにも影響を及ぼすだろう。特に参照フレームを含む、一連のパケット損失は、映像イメージ品質において人間が知覚可能な品質低下を引き起こし始めるだろう。さらに、シーン変化の開始時、あるいは動き率の高い映像シーケンス中における参照フレームの損失は、静的な映像シーケンスにおける参照フレームの損失時に比べて、より人間に知覚されやすい品質低下を引き起こすと思われる。逆に、シーン変化中あるいは動き率の高い映像シーケンス中における非参照フレームの損失は、視聴者に提示される画像における高速な変化により視覚的な副作用が分かりにくいため、知覚されうる品質低下の発生は少ないと思われる。

故に、映像ビットストリームにおけるエラー発生を単純に検出ことだけでは十分ではなく、人間の視聴者にエラーがどのように「見えている」かを評価あるいは推定することも必要である。エラーの視認性（あるいは手短に視認性）は、この視覚的影響あるいは効果を測定するために用いられる用語である。エラーの視認性の大きさは、エラーが人間に知覚可能な映像の品質に与えるであろう影響がどれくらいの量であるか、あるいはどれくらいの重度であるかを示す。エラー視認性を定量化する１つの特有の方法は、エラーにより引き起こされる映像の視覚的な品質低下の量である。

本開示において提案される映像品質推定技術の主要特性は、エラーの時間的伝播及び空間的伝播の少なくとも１つを追跡し続けることである。この目的のために技術は、時間的及び／または空間的に、映像内のどこにエラーが発生するかを追跡し続け、エラーがどれくらいの長さ持続するか、及び／またはエラーが空間にどれくらい拡がるか（即ち、時間及び空間の少なくともいずれかにおいてエラー伝播を推定する）、及びエラーがどれくらい視認されるかを推定する。例えば、動きが多い場合はエラーは空間的に広がる傾向があり、またエラーはイントラピクチャが現れた際には消失するだろう。

上述した映像品質推定技術の本質的な態様を具現する方法実施形態が図６に示される。具体的には図６は、一連のピクチャフレームを有する映像ビットストリームを受信する初期ステップ１２、次に技術が映像ビットストリームのピクチャフレームにおけるエラー発生を判定するステップ１４、そしてエラーの時間的伝播及び空間的伝播の少なくとも１つを判定するステップ１６、最後に判定結果に基づいて映像ビットストリームの品質を推定するステップ１８を有する客観的な映像品質推定方法１０を示している。

図７は、本開示において示される映像品質推定技術を実施する装置実施形態を示している。２０で示される装置は、映像品質を客観的に推定するように構成される。装置２０は、一連のピクチャフレームを有する映像ビットストリームを受信するように構成された受信機２２、映像ビットストリームのピクチャフレームにおけるエラー発生を判定するように構成された第１の判定器２４、視覚的な品質低下の時間的伝播及び空間的伝播の少なくともいずれかを判定するように構成された第２の判定器２６、及び判定結果に基づいて映像ビットストリームの品質を推定するように構成された推定器２８を有する。

構成要素２２、２４、２６、及び２８は１つのハウジング２０内に分離されたブロックとして示されているが、装置の実際の実装とは異なって示されていてもよい。例えば、構成要素のいくつか又は全ての機能は、１つの単独物理ユニットに組み合わされてもよい。また別の例では、構成要素のいくつか又は全ては、映像サービス全体に関わる異なるノードに分離されてもよい。

図８は、映像品質推定技術のコンピュータプログラム実施形態を示したブロック図である。図８において２０’で示されるコンピュータプログラムは、コンピュータにおいて実行された際に、映像品質を推定するための複数の機能をコンピュータに実行させるためのプログラムコード部を有する。これらの機能は、図６において示された方法実施形態１０が有するステップ１２、１４、１６、及び１８の他に、図７に示されたような装置実施形態の構成要素２２、２４、２６、及び２８に対応している。図８に具体的に示されるように、コンピュータプログラム実施形態２０’は、受信機モジュール２２’、第１の判定モジュール２４’、第２の判定モジュール２６’、及び推定モジュール２８’を有する。

図９は、映像品質推定技術の別の方法実施形態を示したフローチャートである。フローチャートに示されたステップは、単純である。ステップに関連する機能は、４つのパートに分けることが可能である。
・エラーのエラー伝播を追跡する。即ち、エラーの時間的伝播及び空間的伝播の少なく
ともいずれかを追跡する
・エラーが発生した位置の各々について、例えば映像内のエラーが発生したピクセルや
パーティション（マクロブロック等）について、エラーのエラー視認性を推定する
・映像の誤りのある部分の全てについて算出されたペナルティを合算する
・映像ビットストリームについての品質スコアを生成するために、合算されたペナルテ
ィ値と、場合によっては他のパラメータについての評価を組み合わせる

該４つのパートは、以下に詳細が示される。

《エラー伝播の追跡》
映像ビットストリームにおけるデータ損失等のエラーを評価する単純な方法は、損失比率を算出することである。例えば損失比率は、全ブロック数に対する損失マクロブロックの量として算出されてよい。しかしながらこの測定基準は、エラーの視認性を適切に表すものではない。

時間及び空間の少なくともいずれかにおけるエラーの伝播や拡散をより適切に推定するために、ここに示される技術はモーションベクトルの情報を用いる。例えば、一連のピクチャフレームを有する映像ビットストリームは、少なくとも１つの参照ピクチャ及び少なくとも１つの予測ピクチャを有してよい。予測ピクチャは、参照ピクチャにおける位置を示す少なくとも１つモーションベクトルを有してよく、従って技術はモーションベクトルを追跡し続ける。技術は、モーションベクトル及び該モーションベクトルが示す参照ピクチャを追跡し続けてもよい。

またエラーに続くスキップパーティションやスキップフレームがあるときは以前のパーティションやフレームのエラーが現在のパーティションやフレームにコピーされるため、エラーは時間において伝播されるだろう。さらに、イントラ予測（例えばイントラフレームやイントラパーティション予測）の特定の場合に、空間において伝播されうる。イントラ予測はモーションベクトルを用いるだけでなく、直前のパーティションにおける周囲の画素（例えば周囲のマクロブロック）からの予測を行う。コーデックは通常、周囲の画素からのイントラ予測を行う、複数の異なる方法を含む。Ｈ．２６４において、イントラマクロブロック（即ち、イントラ符号化マクロブロック）は現在のフレーム内の非イントラマクロブロックから予測されてもよい。エラーが非イントラマクロブロックに伝播され、イントラマクロブロックが該非イントラマクロブロックから予測される場合、エラーは該イントラマクロブロックに伝播しうる。Ｈ２６４において非イントラマクロブロックからのイントラ予測を回避するためには、constrained_intr_pred_flagが符号化効率のコストに設定されうる。

エラーの伝播は、損失ペナルティマップにおいて示されうる。一実施形態において、エラーの伝播は損失ペナルティマップに格納されうる。

《エラー視認性の推定》
拡散効果を考慮すると、１つのピクチャフレームで発生するエラーは、１以上のピクチャフレームにおける１以上のパーティションに影響を及ぼし得る。故に技術は、エラーによって引き起こされるエラー視認性や視覚的な品質低下が判定された際に、影響が及ぼされるピクチャフレームあるいはパーティションの全てを考慮する必要がある。技術の一実施形態は、映像内のエラーによる影響が及ぼされるパーティションの各々についてペナルティ値を算出することにより、視覚的な品質低下を判定する。ペナルティ値は、エラーにより引き起こされる視覚的な品質低下の量を示す値である。

エラーが視認可能かを判定するために、様々なルールが展開可能である。
・データ損失のようなシーン変化の間に発生するエラーは、一般的に通常のエラーより
も程度がひどく見えるため、より高いペナルティ値が割り当てられるべきである。ラ
ンダムアクセスポイントとしてどこでも挿入されうるようなイントラフレームのみを
検出するだけでは十分ではない。シーン変化時ではないイントラフレームにおける損
失は、シーン変化における損失よりも悪化しては見えないだろう。
・データ損失のようなエラーは、エラーの直後に動きが多く存在する場合、程度がひど
く見られる傾向にある。具体的には、モーションの相対的な大きさが注意をひきつけ
る。例えば、他のモーションがないシーンにおける小さなモーションの損失は、モー
ションの多いシーンにおける中規模なモーションの損失よりも分かりやすい。
・損失パーティション（例えばマクロブロック）後のピクチャ内のパーティション（例
えばマクロブロック）がスキップである場合、損失マクロブロックもスキップされう
る可能性は高い。従って、これらのタイプのマクロブロックは損失ペナルティを与え
られない。しかしながら、シーン変化がある場合には損失マクロブロックが大抵スキ
ップされないので、このことは適用されない。
・エラーは時間とともに消失する傾向にある。従って、ペナルティ値はエラーが発生し
たフレームに続くピクチャフレームの少なくとも１つにおいて、特定の量あるいは係
数分減らされる。特定の実装では、ペナルティ値は後続のフレームの各々において、
特定の量あるいは係数分減らされる。
・ペナルティ値は、イントラ符号化ピクチャフレームまたはパーティションである場合
にリセットされる。しかしながら、イントラ符号化パーティションに続くイントラ符
号化パーティションがイントラ符号化パーティションよりも前の参照ピクチャを指す
モーションベクトルを有する場合、エラーは再度発生するだろう。

上述のルールの各々及び他のルールが、本開示に示される映像品質推定技術において用いられうる。

ピクチャフレームのモーションは、エラーのペナルティ値を判定するために用いられてよい。

このようにする場合、使用されるモーションベクトルは、実際のモーションを示し、良好な予測においてただ「ランダムに」示されないことが重要である。ランダムに示すモーションベクトルは、ペナルティ値の大きさを判定する際に考慮されるべきではない。ある位置、例えばマクロブロックにおけるモーションベクトルが「ランダム」であるか否かを判定するために、周囲のパーティションの全てのモーションベクトルがチェックされる。それらが周囲のモーションベクトルの少なくとも１つと同一ではない、あるいは実質的に同一でない（即ち、定数のプラスマイナスがある）場合、対象のモーションベクトルはランダムであるとみなされる。

エラーの位置（例えば、ピクチャフレームにおけるエラーのｘｙ座標）及び視認性の両方は、損失ペナルティマップにおいて示されうる。エラー伝播の完全な忠実性のために、損失ペナルティマップは復号されるピクセルマップと同数の解像度、例えば１７６×１４４を有する必要がある。映像におけるパケット損失の例が図１０に示される。損失ペナルティマップがオーバーレイされた同様の例が図１１に示されている。一般的に、損失ペナルティマップは個々のデータフィールドを定義する２次元のデータ構造であって、各データフィールドがペナルティ値を格納可能に構成される形式をとり得る。一例では、データ構造はテーブルの形式で構成されうる。

図１２は、ここに示される映像品質推定技術の装置実施形態３０を示している。図７に示された装置実施形態２０に比べると、装置３０は、収集器３２と名付けられた追加の構成要素を有する。収集器３２は、損失ペナルティマップにおいて視覚的な品質低下を収集するように構成される。

類似して、映像品質推定技術のコンピュータプログラム実施形態３０’が図１３に示されるように提供される。図８に示されるコンピュータプログラム実施形態２０’に比べると、コンピュータプログラム３０’は、損失ペナルティマップにおいて視覚的な品質低下を収集するための、収集モジュール３２’と名付けられた追加のモジュールを有する。

技術の低複雑性を保持するために、特定の実施形態におけるペナルティ値は、復号されたピクセルマップよりも低い解像度で算出される。例えば、損失ペナルティマップの解像度は、マクロブロックの解像度、例えばＱＣＩＦの１１×９と同一であってもよい。より低い解像度の場合におけるペナルティ値の広がりを推定する１つの方法は、以前のペナルティ値に従って重みづけを行うことである。モーションベクトル(x, y) = (-5, 7)を有する図５の例では、現在のピクチャにおける４つのブロックのうちの右下のブロックについてのペナルティ値は次のように算出される。
（ペナルティ値）＝(5×7) / (16×16)×（以前の左上ブロックのペナルティ値）
＋(11×7) / (16×16)×（以前の右上ブロックのペナルティ値）
＋(5×9) / (16×16)×（以前の左下ブロックのペナルティ値）
＋(11×9) / (16×16)×（以前の右下ブロックのペナルティ値）

復号器において用いられるであろう隠蔽形式のある知見は、より正確なエラー視認性の推定を行うだろう。予測ピクチャについて適用可能な隠蔽方法は、以下を含む。
・以前の復号ピクチャから失われた部分をコピーする
・モーションに基づいて、以前の復号ピクチャから失われた部分をコピーする
・次のランダムアクセスポイント（イントラフレーム）まで、映像全体をフリーズする

ここに示される映像品質推定技術は、少なくとも上述の上位２つの隠蔽方法及び類似する方法を適用可能に設計されうる。

フリーズする方法を用いる場合、エラー視認性の影響は、エラーの各々と次のランダムアクセスポイント間の時間から算出されうる。シーンのモーションの量も、フリーズの視認性に影響を及ぼし得るパラメータである。

Ｉピクチャについての適用可能な隠蔽方法は、上述した３つの隠蔽方法の他に、同一のＩピクチャにおいて正しく受信されたマクロブロックから損失マクロブロックを内挿／外挿する方法を含む。Ｉピクチャがシーン変化に配置される場合、「内挿／外挿」方法は復号器による以前のシーンからのピクセルのコピーを行わないため、上述した上位２つの隠蔽方法よりも良好な結果を生み出しうる。しかしながら、この隠蔽方法がシーン変化ではないＩピクチャに用いられた場合は、上位２つの隠蔽方法ほど良好な結果は得られないだろう。

いくつかの例において、隠蔽方法の情報が復号器において既知である、あるいはクライアント端末から映像品質推定モデルへの信号が送信されるようにすることが可能である。

《ペナルティ値の合算》
エラーがどこに発生して影響を及ぼすか、及びその度合いが如何ほどかのみを推定するだけでは十分ではない。映像ビットストリーム全体についての総合的な品質スコアを提供（即ち品質推定）するために、ペナルティ値は時間及び空間の少なくともいずれかについて合算される必要がある。

図１４は、ここに示す映像品質推定技術の第３の装置実施形態４０を示している。図７に示された装置実施形態２０に比べると、装置４０は合算器４２及び算出器４４と名付けられた２つの追加の構成要素を有する。合算器４２は、時間及び空間の少なくともいずれかにおけるエラーによって引き起こされた視覚的な品質低下を合算するように構成される。算出器４４は、合算結果に基づいて、映像ビットストリームの品質を示すスコアを算出するように構成される。

第３の装置実施形態４０に対応する、映像品質推定技術のコンピュータプログラム実施形態４０’は、図１５に示されるように提供される。図８に示されたコンピュータプログラム実施形態２０’に比べると、コンピュータプログラム４０’は、合算モジュール４２’及び算出モジュール４４’と名付けられた２つの追加モジュールを有する。合算モジュール４２’は、時間及び空間の少なくともいずれかにおけるエラーによって引き起こされた視覚的な品質低下を合算するよう動作し、算出モジュール４４’は、合算結果に基づいて、映像ビットストリームの品質を示すスコアを算出するように機能する。

一様な方法での、影響を受けたパーティション及びピクチャへの重みづけは、合算の１つのアプローチであるが、特に小規模のエラーが品質を著しく損なう場合等の特定のケースでは最適ではないかもしれない。このような場合、大きいペナルティ値についての係数よりも、小さいペナルティ値について高い係数でペナルティ値あるいは視覚的な品質低下に重みづけを行うことがより好適であるかもしれない。本アプローチの特有の実施形態は、大きいペナルティ値よりも小さいペナルティ値について、領域／期間に対するペナルティ値に高い重みづけを行う。

後者の合算アプローチモデルについて、様々な関数が用いられうる。この目的で使用される簡単に適合された関数の例は、次のような形式の有界ログ関数である。

ｄについて様々な値をとった該関数は、図１６にプロットされる。

また、サンプルされたデータセットに適合された多項式関数（例えば３次多項式）や離散閾値関数が合算のモデリングに用いられうる。

上に列挙された例示的な関数の全ては、十分な結果を生むことができる。重要な点は、上述の有界ログ関数でｄ＞０の場合のように微分係数の減少を有する関数がおおよそ用いられることである。

合算は、時間において段階的に実行されてよい。例えば、ペナルティ値は「サブリザルト（sub-result）」が与えられるように、秒（例えば２５ピクチャフレームに対応）ごとに一様に加算されてよく、このとき他の関数がこれらのサブリザルトを考慮するために用いられる。

《品質スコアの生成》
合算されたペナルティは、主観的に知覚される映像ビットストリームの品質を推定するビットストリーム品質モデルスコアに寄与するいくつかのパラメータうちの１つであってよい。関与する他のパラメータのいくつかは、
・無線ブロックエラーレート（ＢＬＥＲ）、
・パケット損失、データスループット、パケットジッタデータ、パケットジッタバッフ
ァストラテジ、ＩＰパケットサイズ、及びＣＲＣエラーレートの信号を（Ｈ．２２３
デマルチプレクサから）送信するＲＴＰ／ＲＴＣＰ、ＣＲＣエラーの数、映像ビット
レート、映像フレームに対するビット数等の、ネットワークパラメータの送信に用い
られるビットエラーレート（ＢＥＲ）及び無線ベアラ、
・ターゲット映像フレームレート、映像解像度、映像コーデック、映像コーデックプロ
ファイル、映像コーデックレベル、量子化パラメータ、実際の映像フレームレート、
フレームに対する映像セグメント（ＧＯＢ、スライス、映像パケット）の数、ピクチ
ャタイプ（イントラあるいはインターピクチャ）、ピクチャに対するイントラマクロ
ブロック数、（知識に基づく推測から）イントラリフレッシュストラテジ、ピクチャ
に対する平均／最大／最小量子化、セグメントに対するマクロブロック数、平均／最
大／最小絶対モーションベクトル、イントラパーティションの存在及び分布、インタ
ーパーティションの存在及び分布、スキップマクロブロックの存在及び分布、モーシ
ョンベクトル解像度の存在及び分布、使用された参照ピクチャの数の情報等の、映像
レイヤから抽出あるいは生成されたパラメータ
のような無線ネットワークパラメータを含んでいてもよい。

ビットストリームモデルは、例えば線形モデルの形式
あるいは幾何モデルの形式
あるいは２つの組み合わせであってもよい。モデルは、他の非線形形状であってもよい。

品質スコアは、例えば１０秒等、所定期間で周期的に算出されてもよい。スコアは、所定の時間分の新たなスコアが所定レートで算出されるスライドウィンドウアプローチを用いて算出されてもよい。例えば、１０秒に対応するような特定のウィンドウサイズについての新たなスコアは、ピクチャについて１つ、あるいは２秒について１つ等の特定のレートで算出される。ペナルティ値に関して、これは合算ペナルティが各ピクチャについて保持されることを要求してもよい。

上に示された映像品質推定技術は、映像のエラーの視覚的な影響をパラメトリックモデルよりも適切にモデル化し得る。同様にこのことは、映像品質推定の精度を向上する。また、本開示に示された技術は特に、映像を復号し、復号された映像のピクセルデータにおける視認可能なエラーを探索しなければならない知覚モデルよりも、複雑性が少なく、時間及びリソースの消費を少なくする。

上述した実施形態を参照して技術が説明されたが、開示は説明目的のみであることは理解されよう。故に、発明は文書に添付された特許請求の範囲によってのみ限定されることを意味する。

Claims (15)

1. 一連のピクチャフレームを有する映像ビットストリームを受信する工程と、
   １つのピクチャフレームのパーティションにおけるエラーの発生を判定する工程と、
   発生した前記エラーの時間的伝播及び空間的伝播の少なくともいずれかを含むエラー伝播を判定する工程と、
   前記エラーが発生又は伝播したパーティションの各々について、前記エラーにより引き起こされた視覚的な品質低下の量を示すペナルティ値を算出することで、前記エラーにより引き起こされる視覚的な品質低下を判定する工程と、
   前記判定された視覚的な品質低下に基づいて、前記映像ビットストリームの品質を推定する工程と、を有し、
   前記エラー伝播を判定する工程は、前記判定されたエラー伝播を、前記ピクチャフレームよりも低い解像度を有する損失ペナルティマップのペナルティ値として格納することを含み、
   前記視覚的な品質低下を判定する工程は、前記損失ペナルティマップから、前記エラーが発生又は伝播したパーティションに対応する前記ペナルティ値を収集することを含む
   ことを特徴とする映像品質推定方法。
2. 前記ペナルティ値は、以下のルール
   前記エラーがシーン変化において発生する場合に、前記エラーに対して、シーン変化がなく発生したエラーよりも高いペナルティ値を割り当てる
   前記映像ビットストリームがエラーが発生又は伝播したピクチャフレームの直後にモーションデータを有する場合、前記エラーに対して、前記映像ビットストリームがエラーが発生又は伝播したピクチャフレームの直後にモーションデータを有しない場合の当該エラーよりも高いペナルティ値を割り当てる
   前記パーティションがスキップあるいは推定スキップである場合であって、場合によってはシーン変化や推定シーン変化が存在しない場合に、前記パーティションについての前記エラーにペナルティ値を割り当てない
   後続のピクチャフレームの少なくとも１つについての前記エラーに割り当てられたペナルティ値を、所定量あるいは所定係数分減らす
   イントラ符号化パーティションあるいはイントラ符号化ピクチャフレームを受信した際に、ペナルティ値をリセットする
   のうちの１以上のルールに従って算出されることを特徴とする請求項１に記載の方法。
3. 前記エラー伝播を判定する工程は、以前に発生したエラーについての前記ペナルティ値への重み付けを含むことを特徴とする請求項１または２に記載の方法。
4. 前記ペナルティ値を前記一連のピクチャフレームについて合算する工程と、
   前記合算結果に基づいて前記映像ビットストリームの品質についてのスコアを算出する工程と、をさらに有する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. 前記合算する工程は、大きい視覚的な品質低下を示すペナルティ値よりも、小さい視覚的な品質低下を示すペナルティ値について、より高い係数で重み付けを行うことを特徴とする請求項４に記載の方法。
6. 前記スコアは、周期的に、あるいは所定期間についての新たなスコアが所定のレートで算出されるスライドウィンドウアプローチを用いて算出されることを特徴とする請求項４または５に記載の方法。
7. 前記映像ビットストリームは、映像符号化レイヤの少なくとも一部を有し、
   前記映像符号化レイヤは、１以上のパラメータを有し、
   前記エラーの発生を判定する工程、前記エラー伝播を判定する工程、及び前記品質を推定する工程の少なくとも１つは、少なくとも１以上の前記パラメータに基づく
   ことを特徴とする請求項１乃至６のいずれか１項に記載の方法。
8. コンピュータに請求項１乃至７のいずれか１項に記載の方法の各工程を実行させるためのプログラム。
9. 映像品質を推定する装置であって、
   一連のピクチャフレームを有する映像ビットストリームを受信する受信手段と、
   １つのピクチャフレームのパーティションにおけるエラーの発生を判定する第１の判定手段と、
   発生した前記エラーの時間的伝播及び空間的伝播の少なくともいずれかを含むエラー伝播を判定する第２の判定手段と、
   前記エラーが発生又は伝播したパーティションの各々について、前記エラーにより引き起こされた視覚的な品質低下の量を示すペナルティ値を算出することで、前記エラーにより引き起こされる視覚的な品質低下を判定する第３の判定手段と、
   前記判定された視覚的な品質低下に基づいて、前記映像ビットストリームの品質を推定する推定手段と、を有し、
   前記第２の判定手段は、前記判定されたエラー伝播を、前記ピクチャフレームよりも低い解像度を有する損失ペナルティマップのペナルティ値として格納し、
   前記第３の判定手段は、前記損失ペナルティマップから、前記エラーが発生又は伝播したパーティションに対応する前記ペナルティ値を収集する
   ことを特徴とする装置。
10. 前記第３の判定手段は、以下のルール
    前記エラーがシーン変化において発生した場合に、前記エラーに対して、シーン変化がなく発生したエラーよりも高いペナルティ値を割り当てる
    前記映像ビットストリームがエラーが発生又は伝播したピクチャフレームの直後にモーションデータを含む場合、前記エラーに対して、前記映像ビットストリームがエラーが発生又は伝播したピクチャフレームの直後にモーションデータを含まない場合の当該エラーよりも高いペナルティ値を割り当てる
    前記パーティションがスキップあるいは推定スキップである場合であって、場合によってはシーン変化や推定シーン変化が存在しない場合に、前記パーティションについての前記エラーにペナルティ値を割り当てない
    後続のピクチャフレームの少なくとも１つについての前記エラーに割り当てられたペナルティ値を、所定量あるいは所定係数分減らす
    イントラ符号化パーティションあるいはイントラ符号化ピクチャフレームを受信した際に、ペナルティ値をリセットする
    のうちの１以上のルールに従って前記ペナルティ値を算出することを特徴とする請求項９に記載の装置。
11. 前記第２の判定手段は、前記エラー伝播の判定において、以前に発生したエラーについての前記ペナルティ値への重み付けを含むことを特徴とする請求項９または１０に記載の装置。
12. 前記ペナルティ値を前記一連のピクチャフレームについて合算する合算手段と、
    前記合算結果に基づいて前記映像ビットストリームの品質を示すスコアを算出する算出手段と、をさらに有する
    ことを特徴とする請求項９乃至１１のいずれか１項に記載の装置。
13. 映像ビットストリームを提供するサーバノードであって、
    請求項９乃至１２のいずれか１項に記載の装置を有することを特徴とするサーバノード。
14. 映像ビットストリームを復号するクライアント端末であって、
    請求項９乃至１２のいずれか１項に記載の装置を有することを特徴とするクライアント端末。
15. 映像サーバノードと映像クライアント端末間の通信用のネットワークノードであって、
    請求項９乃至１２のいずれか１項に記載の装置を有することを特徴とするネットワークノード。